通过跨学科的合作与交流,我们能够突破传统思维的边界,开拓新的研究领域。

——院长致词

首页 > 科学研究 > 奇闻

研究人员从大脑活动中重建语音,阐明复杂的神经过程

本站发布时间:2023-11-21 14:38:21

演讲制作是一个复杂的神经网络,而不是一系列的研究解释在国家区域的复杂网络上进行分离,以控制在这一过程中的精确移动,爪哇人与这些区域在处理自己声音的听觉反馈时遇到了一个复杂的问题,这将在下一代速度生产过程中被克服

现在,纽约大学的一位研究人员已经做出了一些关键发现,这些发现有助于解决这一问题,并重新利用了语音重建技术,为失去说话能力的患者创造了声音

该团队由纽约大学医学院生物医学工程与神经病学副教授AdeenFlinker和生物医学工程与电气与计算机工程教授YaoWang以及NUWIRELESS成员共同领导,创建并使用复杂的神经网络存储,从大脑记录中创建语音,然后用于重新创建和分析驱动人类语音的过程他们在《美国国家科学院院刊》(PNAS)上发表的一篇新论文中详细介绍了这些新发现

人类语音的产生是一种复杂的行为,包括对多个指令的前馈控制以及对自己产生的语音的反馈处理这些过程需要同时管理多个内部网络然而,很难将电机控制的转速和时间与速度生产产生的传感器处理相关联

在这篇新论文中,研究人员成功地将速度生产过程中受到反馈和前馈影响的中心过程分解利用一种基于人类神经外科医生记录的创新深度学习体系结构,研究人员制定了一个基于不同速度合成器的规则,以从皮层信号中寻找参数通过实现区分两种(使用当前和过去的神经信号模式编码当前语音)、反因果(使用当前或未来的神经信号)或两种(非因果)时间卷积的组合的神经网络架构,研究人员对速度产生中的前馈和反馈的贡献进行了深入的计量分析

链接器说:“这种方法允许我们解开正向和反馈神经信号的纠缠过程,这些信号同时发生,同时我们会产生声音的速度和感觉反馈。”

这种切割边缘方法不仅编码了可解释的速度参数,而且还为招募的皮层区域的时间接收场提供了指导值得注意的是,这一发现并没有将反馈和前馈皮层网络分开该分析揭示了混合反馈和前馈处理、跨额叶和颞叶的新结构这一新颖的视角,结合独特的演讲编排表现,标志着我们对演讲制作中的三大神经机制的理解有了显著的进步

研究者使用这种新的视角来了解他们自己的大脑活动发展,并直接将其设计成语音当许多研究人员正在开发这种设备时,NYUprototype有一个关键的区别——它可以只使用记录中的所有数据来重现患者的声音,以达到显著的效果结果可能是患者在失去它后没有得到回音——他们会得到他们的回音这是一个考虑到审计空间的独立神经网络,并且可以在单独语音的几个示例中进行训练,如YouTubevideo或Zoomrecording

为了收集数据,研究人员对目前无法通过药物治疗的难治性癫痫患者进行了总结这些受试者在他们的大脑中植入了一个新的一周的硬膜下电子设备来监测他们的病情,并在常规的临床电子设备之间插入了一个额外的64个小电子设备他们提供了在演讲制作过程中对大脑活动具有关键见解的研究人员

除Flinkrand Wang外,纽约大学电气与计算机工程系的An Wang、Xupeng Chen和Amirhossein Khalidian-Gourtani,生物医学工程系的Leyao Yuf,纽约大学神经系的Patricia Dugan、DanielFriedman和Orrin Devinsky,以及神经外科的Werner Doyle

这篇论文是NSFaimeda开发用于语言处理和开发直接连接模型的神经尔德编码器的85万美元赠款,以及NIHSS R01NS109367、R01NS115929和R01DC018805赠款的结果现在,研究人员又获得了95万美元的收入,用于继续这项工作,该工作由NSF合作研究机构计算神经科学(CRCNS)计划和残疾与康复工程计划(DARE)共同资助该基金将支持进一步开发计算方法,使人们能够深入了解欧洲生物学的法兰语言,并将其转化为速度和语言的临床应用


来源:

Materials provided by
NYU Tandon School of Engineering.
注明: Content may be edited for style and length.


参考:

  1. Ran Wang, Xupeng Chen, Amirhossein Khalilian-Gourtani, Leyao Yu, Patricia Dugan, Daniel Friedman, Werner Doyle, Orrin Devinsky, Yao Wang, Adeen Flinker.
    Distributed feedforward and feedback cortical processing supports human speech production. Proceedings of the National Academy of Sciences, 2023; 120 (42) DOI: 10.1073/pnas.2300255120

排行榜

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

北前院微信公众号