通过跨学科的合作与交流,我们能够突破传统思维的边界,开拓新的研究领域。

——院长致词

首页 > 科学研究 > 心理学

人工智能如何让一名瘫痪妇女恢复声音

本站发布时间:2023-11-21 13:55:04

加州大学旧金山分校和加州大学伯克利分校的研究人员已经开发出一种脑机接口(BCI),它使患有严重瘫痪的女性能够从中风中恢复到通过数字血管达到峰值

这是第一次将所有的速度或面部表情合成为血栓信号该系统可以将这些信号恢复到接近80字的精度,这是对商业可用技术的估计

EdwardChang,医学博士,加州大学旧金山分校泌尿外科主任,从事脑机接口(BCI)技术研究,形成了一个或多个研究小组,有望在8月取得最新的突破232023,在自然中,将导致在不久的将来启用检测血栓信号的NDA批准的系统

“我们的目标历史是重申、体现沟通,这实际上是我们与他人交谈的最自然方式,”CSFWeil神经科学研究所成员、珍妮·罗伯逊杰出精神病学教授昌说“这些进步带来了很多困难,这也是患者的解决方案。”

Chang’stem之前已经证明,它有可能将排水信号恢复到一个同样经历过多年排水系统中风的人身上目前的研究表明了一些更雄心勃勃的东西:将大脑信号解码为丰富的语音,以及在对话中刺激人们面部的动作

Chang在女性大脑表面植入了一个253个电极的纸电极,因为研究人员发现这是一个非常关键的问题电极接收到了如果不是中风的话,就会进入肌肉、舌头、下颌和喉咙以及表面的脑信号Acable,插入固定在头上的端口,连接到计算机库的电子数据

几周来,参与者与该团队合作,以训练系统的人工智能算法,从而识别用于测试的人体内部信号这涉及到从1024个单词的对话词汇到平均值的不同表达方式,直到计算机识别出与这些单词相关联的训练活动模式

如果要识别整个单词,则会创建一个解码单词的系统这是演讲稿的子单元,它以一种书写文字的方式形成了发言人的文字例如,“Hello”包含四个音素:“HH”、“AH”、“L”和“OW”

使用这种方法,计算机只需要学习39个音素就可以破译英语中的任何单词这两种方法都提高了系统的准确性,并使其速度加快了三倍

“准确度、速度和词汇都是至关重要的,”与AlexSilva共同开发了这一数字解码器的eanMetzger说,他都是加州大学伯克利分校和加州大学旧金山分校联合生物工程项目的毕业生“这让我们和其他人有可能在一段时间内与其他瑞典人交流,并有更多的自然和正常的交流。”

为了创建语音,团队使用了一种合成语音的算法,他们对其进行了个性化设置,以便在受伤前喜欢她的语音,并使用了她在婚礼上讲话的录音

该团队使用软件对该场景进行了动画化,这些软件模拟并动画化了场景的所有动作,由SpeechGraphics公司开发,该公司拥有AI驱动的动画研究人员创建了一个定制的机器学习过程,使公司的软件能够与女性大脑中的信号相连接,并不断尝试将其转换为女性脸上的动作,使Jawopenandclose、psproducedandurse和nguegoupanddown,以及为快乐、悲伤和惊喜而进行的面部动作

“我们正在研究中风严重的大脑和大脑行为之间的联系,”加州大学伯克利分校电气工程和计算机科学教授、长安和戈帕拉·阿努曼奇帕利博士的两名测试生KayloLittlejohn说“当受试者第一次使用这个系统来展示和移动观众的脸时,我知道这将是一个有缺陷的东西。”

接下来的重要步骤是创建一个不需要用户物理连接到BCI的无线版本

第一作者、神经外科副教授DavidMoses博士说:“让人们能够用这种技术自由控制自己的电脑和手机,可能会对他们的独立和社交互动产生深远的影响。”


来源:

Materials provided by
University of California - San Francisco. Original written by Robin Marks and Laura Kurtzman.
注明: Content may be edited for style and length.


参考:

  1. Sean L. Metzger, Kaylo T. Littlejohn, Alexander B. Silva, David A. Moses, Margaret P. Seaton, Ran Wang, Maximilian E. Dougherty, Jessie R. Liu, Peter Wu, Michael A. Berger, Inga Zhuravleva, Adelyn Tu-Chan, Karunesh Ganguly, Gopala K. Anumanchipalli, Edward F. Chang.
    A high-performance neuroprosthesis for speech decoding and avatar control. Nature, 2023; DOI: 10.1038/s41586-023-06443-4

排行榜

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

北前院微信公众号