研究人员假设学生将在整个学期的本科控制系统课程中使用人工智能和大型语言模型（如ChatGPT）完成作业，并着手探究免费版本的ChatGPT与人类学生相比表现如何。
结果：在简单的数学作业上，ChatGPT 得了 A，但有一些奇怪的答案。然而，在需要推理的高阶问题上，它只得了 D。
博士生 Gokul Puthumanaillam 说："我们发现 ChatGPT 技术在结构化的、直接的问题上可以得 A。在开放式问题上，它得了 62 分，这使其学期成绩降到了 82 分，一个低 B。人类学生的班级平均分是 84.85%，因为他们能够处理那些需要高阶推理的问题。"
研究得出结论，一个投入最少努力、表现出没有学习材料意愿的学生，可以完全使用 ChatGPT，得到 B 并通过课程。问题在于，这个及格分数可能是简单问题的 A+ 和分析问题的 D- 的组合。他们并没有学到多少东西。
"就像数学课上的计算器一样，ChatGPT 是一个将会存在并被学生使用的工具。这项研究的结果向我指出的是，作为一名教育者，我需要调整，"Puthumanaillam 的导师 Melkior Ornik 说。"我计划考虑如何设计我的课程，以便随着时间的推移，加入更多高阶问题，可能包括基于项目的作业。学生仍然会使用像 ChatGPT 这样的程序来做简单的数学题，但通过增加开放式问题，他们也将达到更高水平的批判性思维，并真正学习到材料内容。"
Puthumanaillam 说，尽管 ChatGPT 在处理结构化问题时速度很快且大多正确，但谨慎使用才是明智之举。
"学生可能需要 20 分钟来回答一个问题。ChatGPT 在不到 20 秒内就解决了，但正确性有时是存疑的。"
他还描述了 ChatGPT 在作业中表现出的奇怪行为例子，例如使用不恰当的技术术语，以及说一些完全不真实的话。
"尽管我们向 ChatGPT 提供了所需的所有课程材料，它仍然产生了幻觉，使用了诸如'准周期振荡'之类的词语，而这些词语在课堂上、讲座或课程材料中从未使用过。"
该研究考虑了那些选择投入最少努力的学生类型。Puthumanaillam 说，高级版本的 ChatGPT 可能在解决分析性问题方面能力稍强，并且可以存储更多内存来解决更长、更复杂的问题。研究人员选择使用该软件的免费版本，因为普通学生可能不想支付月费。
Puthumanaillam 指出，该课程中没有小组作业，提供给 ChatGPT 的提示语与人类学生收到的语言完全相同，并且所有操作都是同步进行的。
"当学生们在做作业时，ChatGPT 也在做作业。ChatGPT 就像是班上多出来的一个学生。"
ChatGPT 从自己的错误中学习了吗？
"当我们告诉 ChatGPT 它在某个选择题上错了，并给它正确的选项，然后给出同一个题目的变体时，是的，它表现得更好了。从某种意义上说，它在学习，但总体而言，它是停滞不前的。如果它在作业中得了 90 分，那么在学期结束时它最终也只能得 90 或 92 分。"
这项工作得到了伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院工程教学促进资助计划的支持。航空航天学教授 Tim Bretl 与博士生 Grayson Schaer 和 Pranay Thangeda 共同创建了项目环境，开发了课程材料和 PrairieLearn 基础设施。