院况简介
北京前沿科学技术研究院（简称“北前科学院”）成立于2016年9月，北前科学院，是由北京中科光析科学技术研究所，北检（北检）检测技术研究院，标检（北京）质量检测中心等科研单位，组建成立的独立科学科研机构，致力于前沿科学领域的研究与创新人才培养，科学技术转移孵化等，世界前沿新科学普及传播。 更多简介 +
院领导集体
前沿信息
基础科学
工程科技
人工智能工具将对从自动车辆到医学图像解释的应用程序产生影响然而，一项新的研究发现，这些AI工具比以前认为的更容易受到攻击，从而有效地迫使AI系统做出错误的决定
这就是所谓的“对抗性平台”，在这种平台中，有人操纵输入到免疫系统的数据，以混淆它们例如，有人可能知道，将特定类型的样本放在特定的拓扑结构中，可以有效地使该拓扑结构对一个信息系统不可用Orahacker在X光机上采集代码，以改变图像数据的方式使AI系统进行准确诊断
“最重要的是，你可以对一个符号进行所有类型的更改，而且我已经接受了识别符号的培训，但仍然知道这是一个‘停止符号’，”北卡罗来纳州立大学电气和计算机工程社会学系论文的合著者吴天福说“然而，如果AI具有可攻击性，并且不知道其脆弱性，那么攻击就具有脆弱性的优势，并导致事故。”
Wu及其合作者的新闻研究重点是确定人工智能深度神经网络中的对抗性脆弱性他们认为漏洞比以前想象的要普遍得多
吴说：“更重要的是，我们发现攻击者利用漏洞的优势，迫使AI将数据解释为他们想要的。”“以停止签名为例，您可以通过使用少量不同的贴纸，或者漏洞是什么，使Isystem认为该选项是复选框、限速标志、绿灯等。”这一点非常重要，因为如果Isystem无法抵御这类攻击，您就不想将该系统投入实际使用，尤其是对于可能影响人类生活的应用程序“.
鉴于外部神经网络对这些不利平台的脆弱性，研究人员开发了一段名为QuadAttacK的软件。这些软件可以用于测试任何外部神经网络的不利漏洞。
”基本上，如果您有一个内部的AI系统，并且在使用干净的数据后，系统的行为会被预测QuadAttacK观察操作并学习显示与数据相关的决策这允许QuadAttacK确定如何通过AI操作数据然后，QuadAttacK开始向AI系统发送操作数据，以保存AI响应如果QuadAttacK已经识别出不可操作性，它可以快速使AI看到QuadAttacK想要看到的内容“.
在概念测试的基础上，研究人员提出了四个深度神经网络的QuadAttacK：两个卷积神经网络（ResNet-50和DenseNet-121）和两个视觉转换器（ViT-BandDEiT-S）。之所以对我们的网络进行研究，是因为它们在全球范围内广泛应用于人工智能系统中。
”吴说：“我们对这些网络的流量来源感到惊讶。”我们特别惊讶的是，我们可以将攻击口调整到我们想要的两倍“.
研究小组已使QuadAttacK公开可用，因此研究小组可以研究所有神经网络的漏洞。可以在此处找到该程序：
这篇题为“四个目标K:A评估编程接近学习有序顶端-K对抗性攻击”的论文将于12月发表16在路易斯安那州新奥尔良举行的第三十七届NeuralInformation ProcessingSystems（NeurIPS2023）会议上第一作者ThomasPaniagua，博士dstudentNCState该论文由RyanGrainger博士合著dstudentNCState
这项工作是在美国的支持下完成的s陆军研究室，本科生W911NF1810295和W911NF2210010；以及来自国家科学基金会的9096442024688和2013451名本科生
来源:
Materials provided by
North Carolina State University. Original written by Matt Shipman.
注明: Content may be edited for style and length.
2024-01-20
2024-01-20
2024-01-20
2024-01-20
2024-01-20
