通过跨学科的合作与交流,我们能够突破传统思维的边界,开拓新的研究领域。

——院长致词

首页 > 科学研究 > 物质与能量

科学家利用人工智能生成的图像绘制大脑的视觉功能图

本站发布时间:2023-12-23 15:44:39

Weill Cornell Medicine、Cornell Tech和Cornell’s Ithacacacampush的研究人员已经证明了人工智能选择的自然图像和人工智能生成的合成图像是神经科学工具,可以用来探测大脑原因的视觉处理目标是应用数据驱动程序,以了解视觉是如何组织的,同时可能会移动在查看非搜索所选图像时可能出现的偏差

本研究于10月出版23在CommunicationsBiology中,研究人员和志愿者根据人类视觉系统的AI模型选择并生成了一个模型他们的图像被认为是最大限度地激活了几个正在处理的区域使用功能磁共振成像(fMRI)来记录志愿者的脑活动,研究人员发现,图像比对照图像更能激活目标图像

研究人员已经表明,他们可以使用这张图像来调整他们对个体志愿者的视觉模型,因此生成的图像比基于整体模型生成的图像更能最大限度地激活特定的个体工作者

“我们认为这是研究视觉神经科学的一种新方法。”AmyKuceyeski,美国康奈尔医学院脑与心智研究所放射学和神经科学数学教授

这项研究是与dr实验室的合作MertSabuncu,Cornell Engineering and Cornell Tech的电气和计算机工程教授,以及Weill Cornell Medicine的无线电电气工程教授该研究的第一作者是博士紫金谷,博士生导师Sabunkand博士Kuceeyeskiatthetimeofstudy

通过绘制大脑对特定图像的反应,在人类视觉系统中建立准确的模型,这是现代神经科学的重要目标之一例如,研究人员发现,一个可视化的处理区域会强烈地响应其他人可能会对其和景观做出反应的人脸图像科学工作者必须坚持非侵入性方法来实现这一目标,这就增加了在完整的代码中直接记录大脑活动的风险和困难首选的非侵入性方法是MRI,它基本上可以记录脑内血流的变化,也可以直接测量脑活动,假设受试者暴露在传感器上或以其他方式执行认知或物理任务一台核磁共振成像仪可以在三维空间内读取这些连续变化,分辨率为立方毫米

为了自己的研究,DrKuceyeskian和DrSabunch和他的团队利用现有的数据等,包括十个自然图像的外壳,以及来自人类受试者的相应MRI响应,来构建一个称为人工神经网络(ANN)的人工智能类型系统,作为人脑的视觉处理系统使用该模型可以预测数据集中的哪些图像应该最大限度地激活大脑的几个特定视觉区域他们将模型与基于AI的图像生成器或生成合成图像进行了组合,以完成相同的任务

“我们的一般做法是将所有设备系统建模为系统的、无基线的,原则上是使用正常情况下不会发生变化的图像,”DrKuceyeskisaid

研究人员对特定的志愿者进行了滚动,并记录了他们对这些图像的fMRI响应,集中在整个可视化处理区域中的响应结果表明,对于所有的饱和图像和合成图像,预测的最大软化活性图像,在受试者的平均水平上,激活了指定的目标大脑区域,其数量远远超过了被选为仅为平均激活剂的图像的数量这支持了AM的基于Ann的模型的一般有效性,并表明销售的合成图像可以用作测试和提供此类模型的探针

在接下来的一项实验中,从第一节课开始,我们对图像和功能磁共振成像的反应进行了处理,为每个受试者创建了单独的基于神经网络的视觉系统模型使用这些个性化模型可以为每个受试者选择或生成预测的最大激活图像fMRI对这些图像的响应表明,至少对于合成图像,与组模型上对图像的响应相比,目标视觉区域,即所谓的FFA1区域的激活更大这一结果表明,Ia和fMR可以用于个性化的视觉系统建模,例如研究不同群体的视觉系统组织的差异

该研究人员正在使用更先进的图像生成器版本,即TableDiffusion,来运行类似的实验

他们指出,这一通用方法可用于评估其他传感器的变化

博士Kuceyes还希望研究这种方法的治疗潜力

她说:“原则上,我们可以使用专门设计的时间来改变训练两个部分之间的连接,例如导致性焦虑的弱连接。”


来源:

Materials provided by
Weill Cornell Medicine.
注明: Content may be edited for style and length.


参考:

  1. Zijin Gu, Keith Jamison, Mert R. Sabuncu, Amy Kuceyeski.
    Human brain responses are modulated when exposed to optimized natural images or synthetically generated images. Communications Biology, 2023; 6 (1) DOI: 10.1038/s42003-023-05440-7

排行榜

备案号:京ICP备2023036195号-1

地址:北京市丰台区南三环西路16号2号楼

地址:山东省济南市历城区唐冶绿地汇中心36号楼

电话: 400-635-0567

北前院微信公众号