通过跨学科的合作与交流,我们能够突破传统思维的边界,开拓新的研究领域。

——院长致词

首页 > 科学研究 > 教育与学习

GPT检测器可能对非英语母语作家有偏见

本站发布时间:2023-11-20 14:57:52

在10年7月发表在《模式》杂志上的一篇同行评审论文中,研究人员表明,计算机程序通常用于确定文本是否由人工智能编写,以及是否由非本地语言扬声器编写针对触摸式文本检测器的不可靠性,我们采取了一些措施,这些措施可能会对包括学生和求职者在内的个人产生负面影响

斯坦福大学的首席作者JamesZou说:“我们目前的建议是,我们应该尽可能多地使用这些探测器。”“它可以对这些检测器进行显著的筛选,这些检测器用于查看工作申请、大学招生和学校作业等内容。”

像OpenAI的ChatGPTschat这样的AI工具可以编写文章,解决科学和数学问题,并生成计算机代码美国各地的教育工作者S越来越担心学生们的工作量,他们中的任何人都开始使用GPT检测器来筛选学生的分配这些探测器是一种可用于识别是否由AI产生的灭火器的复制形式,但其可靠性和有效性仍在测试中

Zouandhisteam让7个流行的GPT检测器进行测试yran91英语是由非母语英语者通过检测器编写的,用于广泛认可的英语水平测试,称为英语作为外语测试,或托福这些表格正确地标记了超过一半的AI生成的信息,其中一个检测器标记了近98%的AI写入的信息相比之下,检测器能够正确地对来自美国的高年级学生写下的90%以上的信息进行分类Sashuman生成

Zoue通过评估文本困惑来解释检测器的工作优先级,这也超出了文章中的单词选择他说:“如果你使用普通的英语单词,检测器会给出一个较低的困惑核心,这意味着我的信息很可能被标记为人工智能生成的。如果你使用复杂和花哨的单词,它更有可能被算法归类为人类。”这是因为像ChatGPT这样的大型语言管理模型能够以较低的困惑度生成文本,以更好地模拟人类对话的方式,Zouads

因此,非本土英国作家采用的更简单的写作方式会使他们更容易被标记为AI

然后,团队将人类写的TOEFLessay输入到ChatGPT,并提示其编辑更具特色的语言文本,包括用复杂词汇替换简单的单词GPT检测器标记了AI编辑的信息

Zousays说:“我们应该谨慎使用任何探测器,包括房间设置,因为仍然有太多的偏差,而且你可以在尽可能少的设计工作量的情况下使用工具。”使用GPT探测器也可能与教育部门有牵连例如,像谷歌这样的搜索引擎会贬低人工智能生成的内容,这可能会无意中导致本土英语作家的损失

尽管AI工具对学生学习有积极影响,但在使用之前,应进一步增强GPT检测器并对其进行评估Zousa认为,用更多样的写作方式训练密封算法可能是改进检测器的一种方法


来源:

Materials provided by
Cell Press.
注明: Content may be edited for style and length.


参考:

  1. Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou.
    GPT detectors are biased against non-native English writers. Patterns, 2023; 100779 DOI: 10.1016/j.patter.2023.100779

排行榜

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567