院况简介
北京前沿科学技术研究院（简称“北前科学院”）成立于2016年9月，北前科学院，是由北京中科光析科学技术研究所，北检（北检）检测技术研究院，标检（北京）质量检测中心等科研单位，组建成立的独立科学科研机构，致力于前沿科学领域的研究与创新人才培养，科学技术转移孵化等，世界前沿新科学普及传播。 更多简介 +
院领导集体
前沿信息
基础科学
工程科技
研究人员正在开发一种方法，将最具特征的人之一——不确定性——融入机器学习系统
人为错误和不确定性是许多人工智能系统无法崩溃的概念，尤其是在许多系统中，这些系统提供了返回机器学习模型这些系统中的许多都经过了重新编程，以确保所有人都是可靠和正确的，但现实世界中的决策包括偶然的困难和不确定性
剑桥大学的研究人员，以及普林斯顿阿兰训练研究所和谷歌DeepMind，一直在努力弥合人类行为和机器学习之间的差距，以使不确定性和记忆在人类和机器结合的应用中得到充分利用这可能有助于减少并证明应用程序的持续可靠性，特别是在安全性至关重要的情况下，如医学诊断
团队将众所周知的图像分类和数据集与人类相适应，可以提供反馈，并在标记关节间隙图像时指示不确定性的程度研究人员发现，尽管人类社会导致混合系统的整体性能下降，但使用不确定性标签的训练可以提高系统在不确定性反馈中的性能他们的研究结果将报告给AAAI/ACM认证情报、伦理和社会会议（AIES2023）Montré；al
“人在房间里”的机器学习系统——一种能够实现多人反馈的AI系统——通常被视为降低设置风险的正确方法，而自动模型无法单独做出决策但是如果人类真的很危险呢
剑桥大学工程部KatherineCollinsfirs的第一位教授说：“不确定性集中在为什么人类会成为世界上最优秀的人。我的模型没有考虑到这一点。”“许多开发人员都在努力解决模型的不确定性，但从个人角度来看，在解决不确定性方面做得很少。”我们总是根据可能性的平衡来做决定，通常没有经过深思熟虑大多数时候——例如，如果我们看到一个长得很像非洲的人，而不是一个陌生人——我们就不会有任何伤害然而，在某些申请中，不确定因素会带来真正的安全风险
柯林斯说：“人类的人工智能系统是指所有人都能做出自己的决定，这不是人类的工作——我们会犯错。”“我们想看看当人们表达不安时会发生什么，这在安全关键环境中尤其重要，比如临床医生使用医疗AI系统。”
“我们需要更好的工具来校准这些模型，这样与他们一起工作的人就有权在他们不确定的时候说出来，”合著者马修·巴克说“尽管机器可以完全自信地训练，但人类无法提供这种训练，机器学习模型也可以充满自信地训练。”
在他们的研究中，研究人员使用了一些标记机器学习数据集：一个用于数字分类，另一个用于对胸部X射线进行分类，以及不用于对鸟类图像进行分类在前两个数据集中，存在着最大的不确定性，但在这两个数据集中，他们让人类参与者表明，他们关注的是哪些方面的影响：例如，鸟类是否被重做或改变由人类参与者提供的标记为“软标签”的标签允许研究人员确定所需的最终输出然而，他们发现，当机器与人类一起工作时，性能会急剧下降
“我们从几十年的行为研究中知道，人类几乎100%确定，但将其纳入机器学习是一项挑战，”Barker说“我们正在尝试将两个领域连接起来，这样机器学习就可以开始消除人类对系统的不确定性。”
研究人员发现，在将人类纳入机器学习模型时，存在严重的挑战研究人员正在清理他们的数据集，以便进行进一步的研究，并确定是否有必要内置于机器学习系统中
柯林斯说：“四位同事都非常出色，不确定性是透明度的一种形式，而且非常重要。”“我们需要弄清楚我们什么时候可以信任它，什么时候信任它，以及为什么。在某些应用程序中，我们正在寻找可能性。特别是对于聊天机器人来说，我们需要的模型符合可能性的语言，这可能会带来更自然、更安全的体验。”“在某些情况下，这项工作提出了更多的问题，”Barker说“但是，即使人类可能会错误地校准他们的不确定性，我们也无法提高人类在循环系统中的信任价值和可靠性，而不是对人类行为的信任。”
该研究得到了剑桥信托、马歇尔委员会、Leverhulme信托、GatesCambridgeTrust以及英国研究与创新委员会（UKRI）的工程与物理科学研究委员会（EPSRC）的支持
来源:
Materials provided by
University of Cambridge. The original text of this story is licensed under a Creative Commons License.
注明: Content may be edited for style and length.
2024-01-20
2024-01-20
2024-01-20
2024-01-20
2024-01-20
北前院微信公众号
