人工智能语言模型GPT-3在解决类似于标准化考试中出现的某些逻辑问题时，表现与大学生不相上下。进行这项实验的研究人员写道，这些结果引发了一个问题，即该技术是在模仿人类推理，还是在使用一种新型的认知过程。解决这一问题需要访问支撑GPT-3及其他人工智能软件的底层软件。
但现在，人们可能得给这位“新来的孩子”腾个位置了。
加州大学洛杉矶分校（UCLA）心理学家的研究表明，令人惊讶的是，当被要求解决通常出现在智力测试和SAT等标准化测试中的推理问题时，人工智能语言模型GPT-3的表现与大学本科生相当。这项研究发表在《自然·人类行为》上。
但论文作者写道，这项研究提出了一个问题：GPT-3是在模仿人类推理，作为其海量语言训练数据集的副产品，还是它正在使用一种全新的认知过程？
由于无法访问GPT-3的内部运作机制——这部分由其创造者OpenAI公司严密保护——UCLA科学家无法确定其推理能力是如何运作的。他们还写道，尽管GPT-3在某些推理任务上的表现远超预期，但在其他任务上，这款流行的AI工具仍然败得很惨。
“无论我们的结果多么令人印象深刻，重要的是要强调该系统存在主要局限性，”UCLA心理学博士后研究员、该研究的第一作者Taylor Webb说，“它可以进行类比推理，但无法完成对人类来说非常容易的事情，比如使用工具解决物理任务。当我们给它这类问题时——其中一些孩子都能迅速解决——它给出的建议毫无意义。”
Webb和他的同事测试了GPT-3解决一组问题的能力，这些问题灵感来源于一种被称为瑞文渐进矩阵的测试，该测试要求受试者预测复杂形状排列中的下一个图像。为了让GPT-3能够“看见”这些形状，Webb将图像转换为GPT-3可以处理的文本格式；这种方法也保证了该AI以前从未遇到过这些问题。
研究人员让40名UCLA本科生解决相同的问题。
“令人惊讶的是，GPT-3不仅表现得和人类一样好，而且犯了类似的错误，”该研究的资深作者、UCLA心理学教授Hongjing Lu说。
GPT-3正确解决了80%的问题——远高于人类受试者略低于60%的平均分，但完全处于人类最高分的范围内。
研究人员还提示GPT-3解决一组他们认为从未在互联网上发布过的SAT类比题——这意味着这些问题不太可能成为GPT-3训练数据的一部分。这些问题要求用户选择具有相同类型关系的词对。（例如，在“‘爱’之于‘恨’犹如‘富’之于哪个词？”这个问题中，答案是“穷”。）
他们将GPT-3的分数与已公布的大学申请者的SAT分数进行了比较，发现该AI的表现优于人类的平均分。
随后，研究人员要求GPT-3和学生志愿者解决基于短篇故事的类比问题——提示他们阅读一段文章，然后找出传达相同含义的另一个故事。在这类问题上，该技术的表现不如学生，尽管OpenAI技术的最新迭代版本GPT-4表现优于GPT-3。
UCLA研究人员开发了自己的计算机模型，该模型受人类认知启发，他们一直在将其能力与商业AI进行比较。
“AI一直在进步，但直到去年12月，我们的心理AI模型在解决类比问题方面仍然是最好的，那时Taylor获得了GPT-3的最新升级版，其表现一样好甚至更好，”该研究的合著者、UCLA心理学教授Keith Holyoak说。
研究人员表示，迄今为止GPT-3无法解决需要理解物理空间的问题。例如，如果提供一组工具的描述——比如硬纸管、剪刀和胶带——让它用来将口香糖球从一个碗转移到另一个碗，GPT-3提出了离奇的解决方案。
“语言学习模型只是试图进行词语预测，所以我们很惊讶它们能进行推理，”Lu说。“在过去两年里，这项技术与其之前的版本相比有了巨大的飞跃。”
UCLA科学家希望探究语言学习模型是否真的开始像人类一样“思考”，或者只是在做一些完全不同的事情，仅仅是在模仿人类思维。
“GPT-3可能有点像人类在思考，”Holyoak说。“但另一方面，人类并不是通过摄取整个互联网来学习的，所以训练方法完全不同。我们想知道它是否真的在用人类的方式做事，或者它是否是某种全新的东西——一种真正的人工智能——这本身就令人惊叹。”
为了找出答案，他们需要确定AI模型正在使用的底层认知过程，这需要访问软件及其训练数据，然后实施他们确信软件未曾见过的测试。他们表示，这将决定AI未来走向的下一步。
“对于AI和认知研究人员来说，拥有GPT模型的后端将非常有用，”Webb说。“我们只是在输入并获取输出，这并不像我们希望的那样具有决定性。”