一个巧妙的设计愚弄了人工智能——并暴露了医疗伦理中的危险缺陷

这些发现提出了关于在医疗环境中如何以及何时依赖像ChatGPT这样的大型语言模型（LLM）的重要问题，研究成果发表于7月22日的《NPJ Digital Medicine》在线期刊[10.1038/s41746-025-01792-y]。

研究团队的灵感源自丹尼尔·卡尼曼的著作《思考，快与慢》，该书对比了快速直觉反应与缓慢分析推理。研究观察到，当经典的横向思维谜题被微妙调整时，大型语言模型（LLM）会出现失误。基于此见解，该研究测试了人工智能系统在面对经过刻意修改的著名伦理困境时，在这两种模式间切换的能力。

"人工智能可以非常强大高效，但我们的研究表明，它可能会默认选择最熟悉或最直觉的答案，即使该答案忽视了关键细节，"共同资深作者、西奈山伊坎医学院温德里希人工智能与人类健康系生成式人工智能主任埃亚尔·克朗（Eyal Klang）医学博士指出，"在日常情境中，这种思维可能不会被注意到。但在医疗领域，决策往往涉及重大的伦理和临床影响，忽略这些细微差别可能对患者造成实际后果。"

为探索这一倾向，研究团队使用一系列创意横向思维谜题和经过轻微修改的著名医学伦理案例测试了多个商用LLM。在一个例子中，他们改编了经典的"外科医生困境"——这是一个广泛引用的1970年代谜题，旨在凸显隐性性别偏见。原始版本描述了一名男孩与父亲遭遇车祸受伤并被紧急送往医院，外科医生惊呼："我不能给这个男孩做手术——他是我儿子！"其转折点在于外科医生是他的母亲，但许多人因性别偏见不会考虑这种可能性。研究人员的修改版本中明确说明男孩的父亲是外科医生，消除了歧义。即便如此，一些AI模型仍回答外科医生必定是男孩的母亲。这一错误揭示了LLM如何固守熟悉模式，即使新信息与之相矛盾。

在另一个测试LLM是否依赖熟悉模式的例子中，研究人员借鉴了一个经典伦理困境：信仰宗教的父母拒绝为孩子进行救命的输血。即使研究人员将场景改为明确说明父母已表示同意，许多模型仍建议推翻一个已不存在的拒绝。

"我们的发现并非表明人工智能在医疗实践中毫无用处，但它们确实强调了深思熟虑的人类监督的必要性，尤其是在需要伦理敏感性、细致判断或情商的情境中，"共同资深通讯作者吉里什·N·纳德卡尼（Girish N. Nadkarni）医学博士、公共卫生硕士表示。纳德卡尼博士担任温德里希人工智能与人类健康系主任、哈索·普拉特纳数字健康研究所所长、西奈山伊坎医学院艾琳和阿瑟·M·菲什伯格医学教授，以及西奈山卫生系统首席人工智能官。"当然，这些工具可以提供巨大帮助，但它们并非绝对可靠。医生和患者都应理解，人工智能最好用作增强临床专业知识的补充工具，而非替代品，特别是在处理复杂或高风险决策时。最终目标是建立更可靠且符合伦理的方法，将人工智能整合到患者护理中。"

"对熟悉案例的简单调整暴露了临床医生不容忽视的盲点，"第一作者、拉宾医学中心达维多夫癌症中心血液学研究所研究员雪莉·索弗（Shelly Soffer）医学博士指出，"这强调了在患者护理中部署人工智能时，人类监督必须保持核心地位。"

接下来，研究团队计划通过测试更广泛的临床案例来扩展工作。他们还在开发一个"人工智能保障实验室"，以系统评估不同模型处理现实世界医疗复杂性的能力。

该论文题为《大型语言模型在医学伦理推理中的陷阱》。

期刊列出的研究作者包括：雪莉·索弗医学博士；薇拉·索林（Vera Sorin）医学博士；吉里什·N·纳德卡尼医学博士、公共卫生硕士；以及埃亚尔·克朗医学博士。

关于西奈山温德里希人工智能与人类健康系

由吉里什·N·纳德卡尼医学博士、公共卫生硕士——一位在医疗领域安全、有效且合乎伦理地应用人工智能的国际权威——领导的西奈山温德里希人工智能与人类健康系是美国医学院中首个此类院系，致力于开创人工智能与人类健康交叉领域的变革性进展。

该系致力于以负责任、有效、合乎伦理且安全的方式利用人工智能变革研究、临床护理、教育和运营。通过汇聚世界级人工智能专业知识、尖端基础设施和无与伦比的计算能力，该系正在推动多尺度、多模态数据整合的突破，同时简化为快速测试和实践转化的路径。

该系受益于西奈山内部的动态合作，包括与西奈山哈索·普拉特纳数字健康研究所的合作——该研究所是德国波茨坦哈索·普拉特纳数字工程研究所与西奈山卫生系统的合作伙伴关系——通过推进数据驱动的方法改善患者护理和健康结果，补充了该系的使命。

这项创新的核心是著名的西奈山伊坎医学院，它作为学习与协作的中心枢纽。这种独特的整合促成了跨研究所、学术部门、医院和门诊中心的动态合作伙伴关系，推动疾病预防、改善复杂疾病治疗以及提升全球生活质量的进步。

2024年，由西奈山卫生系统临床数据科学团队与该系教师合作开发的创新型NutriScan人工智能应用，为西奈山卫生系统赢得了著名的赫斯特健康奖（Hearst Health Prize）。NutriScan旨在促进住院患者营养不良的更快识别和治疗。这一机器学习工具提高了营养不良诊断率和资源利用率，展示了人工智能在医疗保健中的有效应用。

* 西奈山卫生系统成员医院：西奈山医院；西奈山布鲁克林分院；西奈山晨边分院；西奈山皇后区分院；西奈山南拿骚分院；西奈山西区分院；以及西奈山纽约眼耳医院