通过跨学科的合作与交流,我们能够突破传统思维的边界,开拓新的研究领域。

——院长致词

首页 > 科学研究 > 教育与学习

在会计方面,ChatGPT仍然无法与人类匹敌

本站发布时间:2023-11-20 14:58:20

上个月,OpenAI推出了最新的AI聊天机器人产品GPT-4根据OpenAI的测试结果,使用机器学习生成完整的语言文本的测试通过了第90个百分比的测试,通过了15个百分比中的13个,并在GREWerbaltest上获得了一个非常好的分数

美国大学和其他186所大学的研究人员希望了解OpenAI的技术将如何发展因此,他们对原始版本ChatGPT进行了测试研究人员说,当他们努力指向几乎所有的计数时,这是游戏规则的改变,它会改变每个人的游戏规则

“当这项技术问世时,每个人都担心这些研究人员不能利用它作弊,”该研究的作者DavidWood说“但作弊的机会一直都是性别歧视的。因此,我们正试图专注于我们能用这项技术做些什么,而我们无法改进结果的加工过程和研究的学习过程。在开场之前进行测试。”

自2022年发布以来,ChatGPT已成为增长最快的技术平台,在两个月内达到1亿用户为了回应像ChatGPT这样的模式应该如何融入教育的争论,Wood决定招聘任何可能的教授,以与大学会计研究生保持联系

他的合著者在社交媒体上的招聘激增:来自14个国家186个教育机构的327位合著者参与了这项研究,贡献了25181个教室账户这些学生(包括Wood的女儿Jessica)向ChatGPT提交了2268份课本测试库问题这些问题涵盖了会计信息系统(AIS)、审计、财务会计、管理会计和税务,以及各种各样的困难和类型(真/假、多选、简短回答等)

尽管ChatGPT的表现令人印象深刻,但学生们的表现更好学生平均得分为76分7%,而ChatGPT的得分为474%2011年1月在3%的问题中,ChatGPT得分高于平均水平,尤其是在AI和审计方面但AI在税务、财务和管理类别评估方面做得更糟,这可能是因为ChatGPT与该类型所需的主流程发生了冲突

在问题类型上,ChatGPT优于假/假问题(68.7%正确)和多项选择题(59.5%),但与短答问题(28.7%和39.1%之间)相比有困难一般来说,更高阶的问题会让ChatGPT回答事实上,有时ChatGPT会为纠正错误的答案提供权威性的书面说明,或者以不同的方式回答一些问题

“它并不完美;你不会一直使用它,”杨百翰大学现任校长JessicaWood说“仅仅通过使用ChatGPT来尝试学习是愚蠢的任务。”

通过这项研究,我们发现了其他一些令人着迷的趋势,包括:

  • ChatGPT并没有很好地认识到数学的本质,也没有犯任何实质性错误,比如在减法问题中添加两个数字,或者正确地输入数字
  • ChatGPT经常为其答案提供六个平面图,即使答案是正确的在其他情况下,ChatGPT的描述是不准确的,但随后将进行多次选择并清除
  • 聊天GPT有时会让人大吃一惊例如,当提供参考时,它会生成一个完整制作的真实参考作者的工作和时间并不存在

也就是说,作者希望GPT-4能在他们研究中提出的问题和上述问题的解释上提高指数他们发现最有缺陷的是,这种帽子可以帮助改进机器和学习,包括设计和设定任务的能力,或者可以为项目的一部分提供帮助

“这是一个反思她是否磨损了机器值的机会,”会计教授MelissaLarson说“这是一种干扰,我们需要评估我们的出发点。当然,我会有助教,但这会迫使我们使用不同的方式。”


来源:

Materials provided by
Brigham Young University. Original written by Todd Hollingshead.
注明: Content may be edited for style and length.


参考:

  1. David A. Wood, Muskan P. Achhpilia et al.
    The ChatGPT Artificial Intelligence Chatbot: How Well Does It Answer Accounting Assessment Questions? Issues in Accounting Education, 2023; 1 DOI: 10.2308/ISSUES-2023-013

排行榜

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567