院况简介
北京前沿科学技术研究院（简称“北前科学院”）成立于2016年9月，北前科学院，是由北京中科光析科学技术研究所，北检（北检）检测技术研究院，标检（北京）质量检测中心等科研单位，组建成立的独立科学科研机构，致力于前沿科学领域的研究与创新人才培养，科学技术转移孵化等，世界前沿新科学普及传播。 更多简介 +
院领导集体
前沿信息
基础科学
工程科技
EPFL的研究人员开发了一种算法来精确地模拟神经网络，从而加强了更高效的替代性学习硬件的开发
与传统编程相比，他们能够通过算法“学习”方法处理大量数据，因此，他们往往会发现深度神经网络的潜力是无限的，比如聊天GPT但是，这些系统的范围和规模都在扩大，它们的规模、复杂性和能源消耗也在增加——这是一个对全球碳排放的贡献有重大影响或担忧的问题
尽管考虑到将罗马语言转换为数字的技术进步，但研究人员也在关注数字深度神经网络的物理替代问题其中一项研究是工程学院中EPFL的波工程实验室的RomainFleuryo在《科学》杂志上发表的一篇论文中，他和他的同事们描述了一种建立物理系统的方法，与其他方法相比，该方法可以提高速度、提高硬度并降低功耗
作者和LWE搜索者AliMomeni说：“我们成功地训练了一个基于三波的物理系统的算法，这些物理系统包括声波、光波和微波，而不是电子。但我们的通用方法可以用于训练任何物理系统。”
一种“更具生物合理性”的方法
神经网络训练参考帮助系统学习为图像或速度识别等数据生成参数的最佳值它传统上包括两个步骤：一个前进通道，其中数据通过网络传输，并根据输出计算函数；和反向传播（也称为反向传播，或BP），其中计算了与所有网络参数相关的衰减函数
由于重复数据过多，系统会根据这两个计算进行更新，从而使准确值不断增加问题是什么？除了非常耗能之外，BP还适用于物理系统事实上，训练物理系统始终需要数字孪生，这是有效的，并存在现实模拟不匹配的风险
科学家的想法存储了通过物理系统进行第二次正向传输的BP步骤，以本地更新每个网络层除了减少功耗和限制对数字孪生的影响外，这种方法更好地反映了人类的学习
“神经网络的结构是受大脑启发的，但不太可能在脑内学习，”梅尼解释道“他们的想法是在四个物理层的局部，我们可以使用我们实际的物理系统来开始构建它的数字模型。我们已经开发了一种在生物学上更合理的方法。”
EPFL的研究人员，与CNRSITER的PhilippdelHougne和微软研究公司的BabakRahmani一起，使用他们的物理局部学习算法（PhyLL）来进行声学和微波系统以及模拟声学系统的实验，以对类星体的声音和图像进行分类除了显示基于训练的BP的比较准确率外，与现有技术相比，该方法具有很强的适应性——即使在被认为是不可预测的外部扰动的系统中也是如此
Ananalogfuture
尽管WE的方法首次实现了深度物理神经网络的BP再训练，但估计需要对参数进行一些数字更新Momeni说：“这是一种简单的培训方法，但我们的目标是尽可能减少数字计算。”
他们希望在小规模的光学系统上实现他们的算法，第二个目标是提高网络的可扩展性
“在以前的实验中，我们使用了高达10层的神经网络，但它能与100层具有数十亿参数的网络一起工作吗？这是下一步，需要克服物理系统的技术限制。”
来源:
Materials provided by
Ecole Polytechnique Fédérale de Lausanne. Original written by Celia Luterbacher.
注明: Content may be edited for style and length.
参考:
2024-01-20
2024-01-20
2024-01-20
2024-01-20
2024-01-20
北前院微信公众号
