人工神经网络是一种普遍存在的机器学习模型,可以完成许多任务,其架构是由人脑中的生物神经处理信息启发而来的
关于我们,科学家们发现了一种称为nasaformer的神经网络模型这些模型可以实现前所未有的性能,例如通过以接近人类的准确性从提示中生成文本例如,一个变速器减速器是一个AI系统,如ChatGPT和Bard尽管可以相信是有效的,但转化者也很神秘:与其他大脑启发的神经网络模型不同,它们不清楚如何使用生物成分构建它们
现在,来自麻省理工学院、麻省理工大学IBMWatsonAILab和哈佛医学院的研究人员提出了一个假设,可以解释如何使用雨水中的生物元素构建转基因作物他们认为,由神经元和其他脑细胞组成的生物网络——星形细胞——可以像变压器一样执行核心计算
最近的研究显示,T细胞是一种非神经细胞,在大脑中大量存在,与神经元通信,并参与一些生理过程,如调节血流但科学家们对这些细胞是如何计算的还缺乏深入的了解
这项新研究于本周在《美国国家科学院学报》上发表,研究人员从计算机的角度研究了最简单的程序,并建立了数学模型,表明它们可以与神经元一起用于构建生物上看似合理的转换器
他们的研究提供了一个可以激发人类大脑如何工作的未来科学研究的机会同时,它可以帮助机器学习研究人员明确为什么转换器可以成功地跨多个领域完成文本任务
“大脑比我们已经开发的人工神经网络更先进,但我们并不真正确切地知道它的工作原理。研究生物硬件和大规模人工智能网络之间的联系有科学价值。这是欧洲科学,也是神经科学。”MitryKrotov说,他是麻省理工学院IBMWatsonAILA的研究人员,也是这篇研究论文的作者
加入Krotovonthepaper是首席作者LeoKozachkov,麻省理工学院训练与认知科学系的使徒;和KseniaVKastanenka,哈佛医学院神经生物学耐药性教授,马萨诸塞州总研究所耐药性调查专家
生物上的不可能变得合理
转换器通过不同的其他神经网络模型进行操作例如,当前的神经网络是为自然语言处理而训练的,我们将每个单词与之前单词确定的内部状态进行比较另一方面,一个翻译者将内容中的所有单词与一个引起注意的单词进行比较
为了自己的注意力工作,转换词必须在某种形式的记忆中保持所有单词的可读性,Krotovexplanes,但这在生物学上不可能是由于神经通讯的方式
然而,经过几年的研究,机器学习模型(已知的nasaDenseAssociatedMemory)发现了他们的自我注意机制可能发生在大脑中,但前提是至少有三个神经元之间有交流
Kozachkov说:“这三个数字真的很高,因为在神经科学中,这些细胞规模的星形胶质细胞不是神经元,与神经元形成三方连接,即所谓的三方突触。”当神经非通讯时,突触后神经元和化学规模的神经递质通过突触连接到突触后神经元有时,突触细胞也是相连的——它包裹着突触,形成三重(三部分)突触一个星形细胞瘤发生了数百万次分裂性突触
星形胶质细胞集合了一个通过突触连接流动的单核递质在某个时刻,星形胶质细胞向神经元发出信号由于这些细胞比神经元长得多——它们通过低水平地提高钙反应并降低钙反应来产生信号——这些细胞可以保持并整合神经元与它们之间的信息交流克罗托夫说,在这种情况下,星形细胞形成了一种记忆缓冲区
“如果你从这个角度考虑,对于需要在侧变压器上执行保温操作的计算,存储空间是非常自然的,”headds
构建神经元星形细胞遗传学
有了这一见解,研究者们推翻了他们的假设,即星形细胞在变压器计算中扮演着重要角色他们试图构建一种能像变压器一样工作的星形细胞神经细胞模型
他们根据不同的文献和神经科学家合作者的指导,找到了构成转换和开发的星形细胞和神经元在大脑中交流的简单生物物理模型
从某种程度上说,这些组合的血液模型可以将数据转换为四个扇形的神经元-星形细胞遗传学研究,这些研究描述了转移者的自我注意
Kozachkov说:“有时候,我们发现某些想要做的事情无法令人信服地实施。所以,我们必须考虑变通办法。报纸上有一些内容非常谨慎地接近于转化体系结构,使其能够以生物的方式自动构建。”通过分析,研究人员发现其生物神经元-星形细胞遗传学理论上与变压器相匹配此外,他们还通过输入图像和文本转换模型的段落,并将响应与模拟的神经元-星形细胞遗传学进行比较,来进行数字模拟与类似的程序相对应,确认了它们的理论模型
搜索的下一步是从理论到实践他们试图将这些模型的预测与生物实验中观察到的结果进行比较,并利用这些知识来完善或可能推翻他们的假设
此外,这项研究的一个含义是,星形细胞可能涉及长期记忆,因为他们需要存储信息才能在未来发挥作用额外的研究可以调查
来源:
Materials provided by
Massachusetts Institute of Technology.
注明: Content may be edited for style and length.
参考:
2024-01-20
2024-01-20
2024-01-20
2024-01-20
2024-01-20