ChatGPT，学生或许能通过课程，但需付出代价

研究结果：在基础的数学作业上，ChatGPT获得了A等评分，但部分答案存在古怪之处。然而，在需要推理能力的高阶问题上，其成绩仅为D等。

博士生戈库尔·普图马奈兰表示："我们发现ChatGPT技术在结构化的基础问题上能获得A等评分。但在开放式问题上仅得62分，导致其学期总评降至82分（低B等）。人类学生的班级平均分为84.85%，因为他们能处理需要高阶推理的问题。"

研究结论指出，当一个学生付出最少努力、根本不尝试学习材料时，完全依赖ChatGPT可获得B等成绩并通过课程。问题在于，这种及格成绩可能是简单数学题A+与分析题D-的组合产物，他们并未真正掌握知识。

普图马奈兰的导师梅尔基奥尔·奥尼克指出："就像数学课堂的计算器，ChatGPT将成为学生持续使用的工具。这项研究启示我作为教育者需要调整教学策略。我计划重新设计课程体系，逐步增加更多高阶问题，可能包含项目制作业。学生仍会用ChatGPT解决简单数学题，但通过增加开放式问题，他们将提升批判性思维层级并真正掌握知识。"

普图马奈兰强调，尽管ChatGPT在结构化问题上响应迅速且基本正确，仍需谨慎使用。

"学生可能需要20分钟解答的问题，ChatGPT能在20秒内完成，但其答案的正确性有时存疑。"

他描述了ChatGPT作业中的异常行为案例，包括使用不当技术术语及编造虚假陈述。

"尽管我们向ChatGPT提供了全部课程资料，它仍产生'幻觉'——使用了诸如'准周期振荡'这类课程、讲座及教材中从未出现的术语。"

研究聚焦于最低限度努力的学生类型。普图马奈兰指出，ChatGPT Premium版可能在解决分析性问题时能力略有提升，并能存储更多记忆处理复杂问题。研究人员选择免费版是因普通学生通常不愿支付月费。

普图马奈兰说明：该课程无小组作业，ChatGPT接收的指令与人类学生完全一致，且所有测试同步进行。

"当学生写作业时，ChatGPT也在同步完成作业。它就像是课堂里的特殊学生。"

ChatGPT会从错误中学习吗？

"当告知其选择题答错并给出正确答案后，面对同题型变体题时，它确实表现更好。某种意义上它在学习，但整体进步停滞。若作业得90分，学期末仍保持90或92分。"

本研究由伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院"工程教学促进基金"支持。航空航天工程教授蒂姆·布雷特尔与博士生格雷森·谢尔、普拉奈·坦格达共同开发了项目环境、课程材料及PrairieLearn基础设施。