新研究表明,在一项标准创造力测试中,人工智能能够匹敌人类顶尖1%的思考者。
这项研究由蒙大拿大学(UM)商学院助理临床教授 Erik Guzik 博士指导。他和他的合作伙伴使用了托伦斯创造性思维测验(TTCT),这是一种几十年来用于评估人类创造力的知名工具。
研究人员提交了由 GPT-4 人工智能引擎驱动的应用程序 ChatGPT 生成的 8 份回答。他们还提交了来自 24 名蒙大拿大学学生的对照组的回答,这些学生正在修读 Guzik 的创业学和个人理财课程。这些得分与 2016 年参加 TTCT 的 2700 名全国大学生进行了比较。所有提交的答卷均由学能测试服务机构评分,该机构并不知道有人工智能参与。
结果显示,ChatGPT 在创造力方面跻身顶尖行列。这款人工智能应用在流畅性——即产生大量想法的能力——和独创性——即提出新想法的能力——方面均处于顶尖百分位。在灵活性——即产生不同类型和类别想法的能力——方面,该 AI 略有下降,处于第 97 百分位。
“对于 ChatGPT 和 GPT-4,我们首次证明了它在独创性方面表现位于前 1%,”Guzik 说,“这是前所未有的。”
他欣慰地注意到,他的一些蒙大拿大学学生也表现出了前 1% 的水平。然而,ChatGPT 的表现超过了全国绝大多数大学生。
Guzik 在春季学期测试了该 AI 和他的学生。蒙大拿大学西部分校的 Christian Gilde 和维尔纽斯大学的 Christian Byrge 协助完成了这项工作。研究人员于 5 月在南俄勒冈大学创造力会议上展示了他们的成果。
“我们在会议上非常谨慎,没有过度解读数据,”Guzik 说,“我们只是展示了结果。但我们分享了强有力的证据,表明 AI 似乎正在发展出与人类相当甚至超越人类的创造能力。”
Guzik 说,他问过 ChatGPT,如果它在 TTCT 中表现良好意味着什么。AI 给出了一个强有力的回答,他们在会议上分享了这个回答:
“ChatGPT 告诉我们,我们可能并没有完全理解人类的创造力,我认为这是正确的,”他说,“它还建议我们可能需要更复杂的评估工具,来区分人类和 AI 生成的想法。”
他说,TTCT 是受保护的专有材料,因此 ChatGPT 无法通过访问互联网或公共数据库中关于该测试的信息来“作弊”。
Guzik 长期以来一直对创造力感兴趣。在马萨诸塞州帕尔默小镇读七年级时,他参加了一个资优生项目。那次经历让他接触到了 Ellis Paul Torrance 开发的“未来问题解决”流程,Torrance 是一位开创性的心理学家,也是 TTCT 的创造者。Guzik 说,他当时就爱上了头脑风暴以及它挖掘人类想象力的方式,他至今仍积极参与“未来问题解决”组织的活动——甚至在其中一次会议上遇到了他的妻子。
Guzik 和他的团队在过去一年里试用了 ChatGPT,随后决定测试其创造力。
“我们都在探索 ChatGPT,我们注意到它做了一些我们没有预料到的有趣事情,”他说,“有些回答新颖且令人惊讶。那时我们决定对它进行测试,看看它到底有多大的创造力。”
Guzik 说,TTCT 测试使用的提示语模仿了现实生活中的创造性任务。例如,你能想出一个产品的新用途或改进这个产品吗?
“假设是一个篮球,”他说,“想出尽可能多的篮球用途。你可以把它投进篮筐,也可以把它用作展示品。如果你强迫自己想出新用途,也许你可以把它切开做成花盆。或者一块砖头,你可以用它来建造东西,或者把它当作镇纸。但也可能你把它磨碎,重新塑造成某种全新的东西。”
Guzik 曾预期 ChatGPT 会擅长产生大量想法(流畅性),因为这就是生成式 AI 的功能。而且它擅长用许多在评估者看来相关、有用且有价值的想法来回应提示。
他更惊讶于它在产生独创性想法方面的出色表现,这是人类想象力的标志。测试评估者会收到针对某个提示语的常见回答列表——那些几乎意料会被提交的回答。然而,该 AI 在提出新颖回答方面跻身顶尖百分位。
“在会议上,我们了解了一年前针对 GPT-3 进行的先前研究,”Guzik 说,“当时,ChatGPT 在涉及独创性思维的任务上得分不如人类。现在有了更先进的 GPT-4,它已跻身所有人类回答的前 1%。”
随着 AI 进步的加速,他预计它将成为未来商业世界的关键工具,以及地区和国家创新的重要新驱动力。
“对我来说,创造力就是以不同的方式做事,”Guzik 说,“我喜欢的创业定义之一是,创业者就是要有不同的思维。因此,AI 可能会帮助我们将创造性思维应用于商业和创新过程,这对我来说非常迷人。”
他说,蒙大拿大学商学院对教授 AI 知识并将其纳入课程持开放态度。
“我想我们知道未来将以某种方式包含 AI,”Guzik 说,“我们必须小心它的使用方式,并考虑必要的规则和法规。但企业已经在将其用于许多创造性任务。在创业和区域创新方面,这是一个颠覆性的改变。”