A可以信任吗?这个问题出现在哪里——这些天,哪里都是
它提出了一个问题,即即使是某些AI系统也存在自身问题
许多机器学习系统创建了专家称之为“核心信心”的东西,这反映了系统在决策中的信心所有的核心都告诉人类用户,他们的表彰存在一些不确定性;该分数向人类用户表明,该系统至少已退出并符合决策在决定是否应该推荐机器学习系统时,要注意检查置信度得分
能源部太平洋西北国家实验室的科学家们提出了一种评估AI系统建议的方法这两位人类专家进入回路,查看ML在一组数据中的表现专家们学习了机器学习系统中通常正确分类的哪些数据类型,以及哪些数据类型会导致系统错误有了这些知识,专家们就可以对未来的系统建议提供自己的信心
结果是人类看起来应该离开AI系统?人类更准确地预测了AI系统的性能
尽可能少的人力努力——仅仅是几个小时——评估Ip计划所做的一些决定,使研究人员能够大大提高Ip计划评估辅助决策的能力根据该报告的分析,冲突的发生率是人类提供的核心的两倍
PNNL团队在华盛顿特区的人类因素和人类工程学协会最近的一次会议上发表了这些结果c人类人工智能会议的一部分
“如果你没有在最初的位置开发机器学习算法,它看起来就像一个盒子,”该研究的首席作者兼人机交互专家科里·法伦说“在某些情况下,这些决定看起来很好。在其他情况下,你可能会得到一个真正令人头疼的表扬。你可能不明白为什么要做出这些决定。”
网格和AI
这是电力工程用电网面工作的一个好方法他们的订单决定基于大量数据,这些数据每次都会发生变化,以保持照明和关闭的运行但电力工程师可能不愿意过度决策,从而获得机器学习系统的授权
“有上百篇关于机器学习引擎动力系统的研究论文,但世界上几乎没有任何应用。许多人根本不信任ML。他们有领域经验,这是ML无法学习的,”作者田志喜“Tim”Yin说
PNNL的研究人员拥有一个世界级的网格现代化团队,他们也在密切关注应用于电力系统的机器学习算法他们对来自美国电网EasterInInterconnection的真实数据进行了eSVM(支持向量机)算法的研究s该程序查看了124个事件,决定发电机是否正常工作,或者数据是否显示为不太值得注意的其他类型的事件
算法的决策可靠性为85%当存在复杂的功率缓冲和频率偏移时,会出现许多不适症状在系统对自己决策的评估中,与工作中的人建立的信任是一个很好的证明人类专家的投入以更高的准确性预测了算法的决策
更多的人,更好的机器学习
FallonandYin将新的核心称为“专家得出的置信度”得分或EDC得分
他们发现,平均而言,当人类在数据上得分较高时,他们的EDC得分预测了模型行为,而不是算法的置信度
尹说:“人类的专业知识是人类的全部知识。”“人工提供的信息表明,MLD没有,我们知道这些信息很重要。底线是,我们知道,如果你将人工专家添加到ML结果中,你会得到更多的信心。” Fallonan和Yin的工作是由NNL通过一项初步的知识——科学中人工推理的数学——资助的制造人工智能装载机的努力是NNL他们的倡议是由法伦和尹共同发起的,法伦是一名人机团队和人类因素研究的专家,尹是一名机器学习的专家法伦说:“这是一种需要进行研究的类型,以便为未来的部队做好准备。”“如果人们不信任这个工具,那么你就浪费了你的时间和金钱。你不知道当你把一个机器学习模型从实验室里拿出来,并在世界上进行实践工作时会发生什么……
”我希望有一个人类专家和人类-机器团队我们的EDC评分让人们能够更好地评估形势并做出最后的决定”
来源:
Materials provided by
DOE/Pacific Northwest National Laboratory. Original written by Tom Rickey.
注明: Content may be edited for style and length.
2024-01-20
2024-01-20
2024-01-20
2024-01-20
2024-01-20