使用ChatGPT，学生或许能通过课程，但需付出代价

结果：在简单的数学作业上，ChatGPT获得了A级评分，但部分答案存在奇怪之处。然而，在需要推理的高阶问题上，其得分仅为D级。

博士生Gokul Puthumanaillam表示："我们发现ChatGPT技术在结构化、直接的问题上能获得A级评分。在开放式问题上仅得62分，使其学期总成绩降至82分（B级）。人类学生的班级平均分为84.85%，因为他们能处理需要高阶推理的问题。"

研究结论表明，完全不投入精力学习的学生若全程使用ChatGPT，可获得B级成绩并通过课程。问题在于及格成绩可能是简单数学题A+与分析题D-的组合，实际并未掌握多少知识。

Puthumanaillam的导师Melkior Ornik指出："如同数学课上的计算器，ChatGPT已成为学生将持续使用的工具。这项研究结果提示我需要调整教学策略。我计划重新设计课程，逐步增加高阶问题比重，可能引入项目制作业。学生仍会用ChatGPT处理简单数学题，但通过增加开放式问题，他们将提升批判性思维水平并真正掌握知识。"

Puthumanaillam强调，尽管ChatGPT在结构化问题上反应迅速且基本准确，仍需谨慎使用。

"学生可能需要20分钟解答的问题，ChatGPT在20秒内就能解决，但其正确性有时存疑。"

他描述了ChatGPT作业中的异常表现案例，包括使用不当技术术语及编造虚假内容。

"尽管我们向ChatGPT提供了全部课程资料，它仍产生幻觉——使用了课程、讲座或教材中从未出现的'准周期振荡'等术语。"

研究针对最小化学习投入的学生群体。Puthumanaillam指出付费版ChatGPT可能略擅于解决分析性问题，并能存储更多记忆处理复杂问题。研究者选择免费版是因普通学生通常不愿支付月费。

Puthumanaillam说明：课程不含小组作业，ChatGPT的题目指令与学生收到的完全一致，且全程采用同步测试模式。

"当学生写作业时，ChatGPT也在同步完成。它只是班级里的额外学员。"

ChatGPT是否从错误中学习？

"当指出其选择题错误并提供正确答案后，面对同类题型变体时表现确有提升。从某种意义上是学习，但整体处于停滞状态。若作业得分为90%，学期末成绩仍保持在90%或92%。"

本研究由伊利诺伊大学厄巴纳-香槟分校格兰杰工程学院"工程教学促进基金"支持。航空航天工程教授Tim Bretl与博士生Grayson Schaer、Pranay Thangeda共同创建了项目环境，开发了课程材料及PrairieLearn教学平台。