通过跨学科的合作与交流,我们能够突破传统思维的边界,开拓新的研究领域。

——院长致词

首页 > 科学研究 > 心理学

大脑录音捕捉演讲的音乐性——在平克·弗洛伊德的帮助下

本站发布时间:2023-11-21 13:55:46

正如Floyd的《墙里的另一块砖,第1部分》充满了外科手术的激情,Albany MedicalCenter的神经科学家认真地记录了正在接受癫痫手术的患者大脑中的电刺激活动

目标?为了捕捉被音乐的特征——音调、节奏、和声和单词——震撼的大脑区域的电活动,以便他们能够重建大脑的听觉

十多年后,加州大学伯克利分校的神经科学家对29名此类患者的数据进行了详细分析,结果明确

短语“Allinallitwas just abricking in the wall”是通过其结构优美的歌曲、巧妙的韵律、浑厚但可破译的词语而形成的这是研究人员首次从大脑记录中重建可识别的歌曲

这些结构显示了记录和转换大脑的容易性,包括语音的主要元素以及音节非人类,这些被称为韵律的音乐元素——节奏、重音、重音和音调——在单词中单独存在,而不是转换

因为颅内脑电图(iEEG)记录只能从大脑表面记录——只要你能到达审计中心——就不会有人在任何时候在你的大脑中听到这首歌

但对于那些沟通有困难的人来说,无论是因为中风还是分析,这种来自雨表面电极的记录都会让他们从今天的类似机器人的重建中再现出大脑的缺失

“结果很好,”海伦·威尔斯神经科学研究所的动脉瘤学家和UCBerkeleyprofessorofpsychology的RobertKnight说,他与LudovicBellier博士后进行了这项研究“关于音乐的一个形式是韵律和运动内容。随着整个领域的训练机接口的发展,这为有需要的人、有问题的人或其他患有神经系统疾病或发展障碍的人的未来植入提供了一种商业化的方式。它使我们能够根据内容恢复语言,但也有一些基础内容,比如速度,等等。”等等我想这就是我们在节目中经常出现的问题“.

随着大脑记录技术的发展,可能有可能在不打开大脑的情况下进行触摸记录,或者使用连接在头皮上的感应电极。目前,头皮EEG可以测量大脑活动来检测多个字母中的单个字母,但识别单个字母至少需要20秒,这使得沟通变得困难,Knight说。”如今,非侵入性技术已不复存在对于患者来说,我们希望在未来的大脑中,通过颅骨两侧的电极位置,可以以良好的信号质量读取大脑深处区域的活动但从那时起,“Belliersaid..

Bellier、Knight和他的同事们在我们的PLOSBiology中报告了这一结果,并注意到他们在对人脑中的音乐处理的理解上又增加了一块砖”“.

读过你的想法吗?还没有。

过去,当人们无法说出单词和码字时,脑机接口可以帮助他们进行交流,但产生的内容具有与斯蒂芬·霍克斯在使用技术生成设备时如何创建的基本质量。

”Belliersaid说,“现在,这项技术更像是未来的一块木板。”你无法从键盘上读出你的想法您需要按下按钮一种常见的机器人语音;因为这是我唯一的表达自由“.

Belliers应该知道。他从小就演奏音乐——鼓、古典吉他、钢琴和低音,在重金属乐队中表演。当Knight要求他在音乐上表演时,Belliers说,”YoubetIwashecited henIgottheproposal“.

2012年,Knight、博士后研究员Brian Pasley及其同事们发现,他们更倾向于构建只从大脑活动记录中获得的文字纸。

最近,其他研究人员对Knight的工作进行了更多的研究。Eddie Chang是旧金山大学神经外科医生,也是2012年论文的合著者,他记录了与下巴、嘴唇和舌头运动相关的大脑运动区域的信号以构建瘫痪患者的速度,并在计算机屏幕上显示这些数据

2021年报告的这项工作中,员工提供了一个基于50个单词的训练记录

尽管张的技术提供了成功,但最新研究表明,来自该地区的审计区域,所有声音的检查都在那里进行,可以捕捉到对人类交流很重要的演讲的其他方面

Belliera补充道:“听觉皮层与运动皮层的解码非常有希望,听觉皮层与声音的声学更接近,而运动皮层与曾经产生语音的运动更接近。”“它将为解码的内容提供一种独特的颜色。”

在这项研究中,Bellierre分析了2012年和2013年获得的大脑记录,这些记录被播放了大约3分钟的《墨水之歌》片段,这首歌来自1979年的专辑《墙》他希望超越之前的研究,即测试生态编码模型是否可以识别不同的音乐片段和流派,通过基于编码模型的回归来重建音乐短语

Belliere强调,这项研究使用了人工集成的代码库活动和编码器的生产,并没有仅仅创建一个工具箱来合成语音他和他的同事们真的很容易找到新的大脑区域来检测心律失常,比如用吉他,并发现听觉皮层的一部分——在左颞叶,位于大脑的正后方——对避免疼痛或合成器的感觉做出反应,而其他区域则对稳定的人声做出反应

我们已经确认,巴林的右侧已重新调整到左侧

Knight说:“语言是左脑。音乐是分散的,有偏见。”

Belliers说:“这不可能是音乐刺激的结果。”“因此,我们确认,这不仅仅是技术上的具体规定,而且是审计系统的基础,也是演讲和商业流程的基础。”

Knightis正在努力了解彩虹电路


来源:

Materials provided by
University of California - Berkeley. Original written by Robert Sanders.
注明: Content may be edited for style and length.


参考:

  1. Ludovic Bellier, Anaïs Llorens, Déborah Marciano, Aysegul Gunduz, Gerwin Schalk, Peter Brunner, Robert T. Knight.
    Music can be reconstructed from human auditory cortex activity using nonlinear decoding models. PLOS Biology, 2023; 21 (8): e3002176 DOI: 10.1371/journal.pbio.3002176

排行榜

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

北前院微信公众号