基于学生将使用人工智能及ChatGPT等大语言模型来完成作业这一假设，研究人员着手探究在为期一学期的本科控制系统课程中，免费版ChatGPT与人类学生相比表现如何。
结果如下：在常规的数学作业上，ChatGPT获得了A，但给出了一些古怪的答案。然而，在需要推理的高阶问题上，它只得了D。
“我们发现ChatGPT技术在结构化、直接的问题上能得A。在开放式问题上它得了62分，导致ChatGPT的学期成绩降至82分，即B-。人类学生的班级平均分为84.85%，因为他们能够处理需要高阶推理的问题，”博士生Gokul Puthumanaillam说道。
研究总结道，一个投入精力最少、无意学习课程材料的学生，可以完全依赖ChatGPT，获得B并通过课程。问题在于，这个及格成绩可能是简单数学部分的A+和分析部分的D-的混合结果。他们并没有学到多少东西。
“就像数学课上的计算器一样，ChatGPT是一种将长期存在且学生会使用的工具。这项研究的结果向我指出，作为一名教育工作者，我需要做出调整，”Puthumanaillam的导师Melkior Ornik说。“我计划考虑如何设计我的课程，以便随着时间的推移，纳入更多的高阶问题，也许包括基于项目的作业。学生仍然会使用像ChatGPT这样的程序来做较简单的数学题，但通过增加更多的开放式问题，他们也将达到更高层次的批判性思维，并真正学到知识。”
Puthumanaillam表示，尽管ChatGPT在结构化问题上速度快且大多正确，但明智的做法是谨慎使用。
“一个学生可能需要20分钟来回答一个问题。ChatGPT在不到20秒内就能解决，但其正确性有时令人怀疑。”
他还列举了ChatGPT作业中怪异行为的例子，比如使用不恰当的技术术语，以及说出完全不符合事实的内容。
“尽管我们向ChatGPT提供了所需的所有课程材料，它仍然产生了幻觉，使用了像‘准周期振荡’（quasi periodic oscillations）这样从未在课堂、讲座或课程材料中使用过的词汇。”
该研究考虑了选择投入最少精力的学生类型。Puthumanaillam表示，ChatGPT的高级版本在解决分析性问题方面可能稍强一些，并且可以存储更多记忆来解决更长、更复杂的问题。研究人员选择使用该软件的免费版本，因为普通学生可能不愿意支付月费。
Puthumanaillam指出，课程中没有小组作业，ChatGPT使用的提示词与人类学生收到的完全一致，且所有工作都是同步进行的。
“当学生们在做作业时，ChatGPT也在做作业。ChatGPT只是班上多出来的一个学生。”
ChatGPT从错误中学习了吗？
“当我们告诉ChatGPT它在选择题上错了，给出正确选项，然后再给它同一问题的变体时，是的，它表现得好了一些。在某种意义上，它在学习，但总体而言，它是停滞不前的。如果它在作业中得了90%，学期结束时它最终得分是90或92分。”
这项工作得到了伊利诺伊大学厄巴纳-香槟分校Grainger工程学院工程教学促进项目的支持。航空航天学教授Tim Bretl以及博士生Grayson Schaer和Pranay Thangeda创建了项目环境，开发了课程材料和PrairieLearn基础设施。