关键区别在于，部分检测过程是通过光的物理传播完成的。这使得许多视频能够在单次光学传输中被同时评估，而不需要每个视频分别通过传统的数字处理流水线。
这项技术在发表于《eLight》的研究论文《用于多路深度伪造视频检测的可扩展、节能型光神经架构》中得到了详细介绍。研究人员设计了这种光学人工智能系统，将其作为高吞吐量、抗攻击的第一道防线，用于筛查大量被篡改和AI生成的视频。
深度伪造检测面临的日益严峻的挑战
生成式AI的快速进步使得合成视频越来越逼真，增加了对既准确又能大规模运行的检测系统的需求。
许多先进的深度伪造检测器依赖于海量的数字计算。单次分析可能需要数千亿次浮点运算，且视频通常按顺序处理。随着需要检查的内容增多，处理时间和能耗需求也会成比例增加。
数字检测系统还面临另一个问题。攻击者可以故意以微妙的方式篡改伪造视频，旨在迷惑检测器并使篡改的镜头看起来真实。
Aydogan Ozcan教授及其加州大学洛杉矶分校（UCLA）团队开发了一种混合数字-光学系统，旨在同时解决这两个挑战。
轻量级数字编码器首先收集每个视频的紧凑信息，包括空间、光谱和时间特征。这些信息被转换为相位图案并显示在可编程空间光调制器上。
随后，产生的光波前通过基于自由空间的无源光学解码器。在另一端，成对的光学探测器直接为每个视频生成真实性评分。
实际上，该系统用能够并行处理多个数据流的物理过程取代了计算要求高的数字解码网络。
同时处理15个视频的准确率接近98%
在使用可见光的实验中，该处理器在每次光学传输中同时检查了15个Celeb-DF视频。
其平均检测准确率达到97.79%，敏感度达到99.86%，特异度达到95.72%。敏感度衡量系统识别篡改视频的成功程度，对于旨在防止虚假内容漏网的筛查工具来说，如此高的敏感度至关重要。
99.86%的敏感度意味着平均假阴性率约为0.14%。换言之，只有极小一部分篡改视频被错误分类为真实视频。
研究人员还进一步挑战该系统，将其在单次光学传输中的容量增加到18个视频。即使在这一水平下，平均检测准确率仍保持在96.13%。
更多光学层提升性能
研究团队发现，通过增加无源光学解码器的物理深度，处理器的能力也可以得到提升，同时不会大幅增加能耗或推理延迟。
当研究人员在测试更复杂的深度伪造篡改时增加了两个优化的无源衍射层，检测准确率提高了约6.8%。
这些纯相位衍射层可以制造成无源的静态光学结构/表面。它们通过光的衍射执行额外的计算，这意味着在系统进行推理时它们不需要额外的电力。
这种方法可以实现更复杂的处理，而不会产生通常伴随更大数字神经网络而来的同等能耗。
针对Google VEO-3视频测试系统
研究人员并未将实验局限于传统的换脸深度伪造。他们还使用Google的VEO-3模型生成的视频对该处理器进行了挑战。
较新的生成式AI系统能够创建缺乏早期深度伪造技术中许多明显伪影的镜头，这使得它们成为主要针对旧有篡改形式训练的检测器更难对付的目标。
在实验中，仅需最少的微调，该光学处理器在以前未见过的VEO-3视频上就达到了94.80%的准确率和97.61%的敏感度。
结果表明，随着生成式AI技术的不断发展，该方法具有潜在的适应能力。
旨在更难被欺骗的深度伪造检测器
该光学系统还表现出对黑盒对抗性攻击的抵抗力，并对白盒攻击提供内在保护。
这种安全性部分源于检测器执行计算的物理方式。由于部分推理过程通过衍射发生，光学模型的重要参数被有效地嵌入在硬件中。
攻击者很难测量、复制或逆向工程这些参数。这使得重建检测器以及设计能够逃避检测的精心定制的对抗性修改变得困难得多。
当视频受到图像噪声、模糊、JPEG压缩和实验未对准的影响时，该处理器仍能继续可靠地工作。据研究人员称，这些结果说明光学计算如何能为某些人工智能系统提供更安全、更可靠的基础。
抵御深度伪造的第一道防线
UCLA的处理器并非旨在完全取代复杂的数字检测器，而是被设计为更大检测系统中作为高敏感度的第一阶段。
海量视频可以首先通过并行光学处理器。被识别为可疑的内容随后可以被发送到计算要求更高的数字模型，以进行更详细的最终评估。
这样的系统可以结合两种方法的优势。光学处理可以提供并行操作、低解码器能耗、高敏感度、抗对抗性攻击能力以及适应较新AI视频生成器的能力，而传统的数字系统可以在必要时提供更深入的分析。
研究人员表示，这种组合最终可能对大规模内容审核、媒体认证、监控和其他安全关键的AI应用非常有用。
这项工作的作者是贡献相同的Parnian Ghapandar Kashani和Shiqi Chen博士，以及Aydogan Ozcan教授。研究人员隶属于UCLA电气与计算机工程系、UCLA生物工程系和加州纳米系统研究院。