科学家证实，钢琴家能够通过触键改变音色，利用先进传感器捕捉到了塑造声音感知的微动作。这一发现架起了艺术与科学之间的桥梁，有望应用于音乐教育、神经科学等诸多领域。
绘画、音乐及其他艺术领域的创造力，基础在于能够为观众创造多样化的感知体验。然而，音色是否真的可以在乐器演奏过程中改变，以及实现这种改变需要何种身体运动技能，这些问题尚不明确。
研究小组开发了一套独特的传感器系统，能够以1000 fps的时间分辨率测量钢琴琴键运动，并测量了专业钢琴家在钢琴上表现各种音色时的琴键运动。结果显示，听众能够区分钢琴家意图表现的音色，无论他们是否接受过钢琴演奏训练。研究小组还成功识别了产生这些音色差异的琴键运动特征。
这一发现解决了长达一个多世纪的问题——"钢琴家能否通过触键改变音色？"——证明了钢琴家通过触键培养的音色操控能力并非仅仅是感官隐喻，而是有科学依据的技能。这些发现开启了可视化和教授产生音色的特定运动特征的可能性，这将带来更高效的练习并防止错误学习。研究还揭示了高水平的身体运动控制塑造了艺术感知，表明其在康复、技能迁移和人机界面设计等多个领域具有潜在应用价值。
这些研究成果于2025年9月22日发表在国际科学期刊《美国国家科学院院刊》（PNAS）上。
这些成果是通过以下项目、研究领域和研究课题获得的：
JST战略性基础研究项目（CREST） 研究领域：可信质量AI系统核心技术（研究主管：相泽彰子，信息与系统研究机构国立情报学研究所数字内容与媒体科学研究系教授）研究课题：构建可信可探索推荐基础技术 研究负责人：后藤真孝（产业技术综合研究所首席高级研究员）研究期间：2020年10月—2026年3月
登月型研究开发项目（MOONSHOT） 研究领域：到2050年实现人类摆脱身体、大脑、空间和时间限制的社会（研究主管：萩田纪博，大阪艺术大学艺术科学系主任教授）研究课题：通过身体、认知和感知增强实现从生物限制中解放 研究负责人：金井良太（国际电气通信基础技术研究所（ATR）企业规划与创新共创单元主任）研究期间：2020年10月—2026年3月
研究背景与历程
音乐家和其他表演艺术家、外科医生、传统工匠等各领域专家通过多年的大量训练获得技能。特别是在表演艺术领域，长期以来人们认为掌握能够产生多样化感知的身体运动技能对于体现创造力至关重要。例如，虽然乐器演奏中的音高和音量明显依赖于对乐器的操控，但对于"本应发出某种声音的乐器却产生了不同音色"的情况，一直没有科学证据——这种现象在演奏者和教育者中被广泛认为是有可能的。关于钢琴的这个问题曾在20世纪初的《自然》杂志上讨论过，但迄今为止尚未进行系统的感知实验和数据分析，该问题仍未得到解答。因此，获得能够产生多样化表现力的技能的方法仍然未知，而这一过程中的问题——如对个人局限性的错误认识以及技能习得训练过程中出现的受伤或残疾风险——持续存在。对技术技能机制的循证理解对于人类和系统能够推荐适当的训练方法，以及使学习者与教师信任由此产生的建议至关重要。
研究背景与历程
来自NeuroPiano研究所和索尼计算机科学实验室的研究团队揭示，钢琴家意图表现的音色特质能够传达给听众，并且涉及指尖运动的高精度控制。
研究小组使用其专有的高精度非接触式传感器系统Hackkey，以1000 fps（1毫秒时间精度）和0.01毫米空间分辨率测量了全部88个琴键的运动。该装置分析了20位国际知名钢琴家在意图表现多样化音色特质（包括明亮/暗淡和轻盈/厚重）时的键盘运动。
此外，研究团队进行了一项心理物理学实验，40名参与者——包括钢琴家和没有音乐经验的个体——聆听了录制的演奏。结果显示，无论听众的音乐经验如何，都能一致地感知到钢琴家意图表现的音色。特别是身为钢琴家的听众，能够以更高的敏感度区分音色差异。研究发现，即使在控制音量和速度的情况下，这种音色辨别仍然可能实现——这两个因素此前被认为会影响音色感知。
使用线性混合效应（LME）模型进行的数据分析显示，对音色差异的贡献集中在有限的几组运动特征上（如脱扣过程中的加速度、双手同步性的偏差）。实验进一步证实，仅改变其中一个特征演奏的音符被听众感知为具有不同的音色，这提供了琴键运动与音色之间因果关系的第一项实证证据。
这些发现对音乐家和教育者具有以下意义：
-
建立支持艺术创造力的技术基础：本研究量化了钢琴家如何产生音色的"隐性知识"，为理解艺术家的表现意图和开发能够最大化这种意图的新教育方法与技术铺平了道路。此外，证明艺术家通过触键培养的音色操控能力是有科学依据的技能而非仅仅是感官隐喻，使得通过将其应用于向学习者呈现适当运动特征的推荐系统，能够高效地学习和习得创造音色表现的技能——这在以往的教学中难以用语言表达。
-
阐明产生高级感知的生物学机制：相同声音被不同感知的现象表明人类感觉和运动系统的高级整合。本研究阐明了灵巧的运动控制如何产生高级感知和审美体验，为神经科学、心理学和艺术研究的跨学科研究开辟了新途径，并在技能迁移、康复和人机界面设计等多个领域具有应用前景。
未来展望
本研究阐明了琴键运动特征与钢琴音色之间的关系，表明显性习得能够产生多样化感知范围的运动技能的可能性。这对于在表演艺术体育教育中推荐循证的身体使用和练习方法，以及使教师和学习者能够自信地追求学习至关重要。虽然感知研究迄今为止主要关注音高、响度和节奏等低级感知信息，但未来对音色和其他高级感知信息研究的推进有望阐明潜在的大脑信息处理机制，并开发巧妙利用先进技术的训练方法。此外，通过运用身体来改进和实现曾经不可能之事的兴奋感，是超越音乐表演领域的跨学科共同体验，包括体育、烹饪、绘画甚至外科手术。本研究有望在多个学科产生连锁效应。
科学技术在音乐学习中的参与程度明显落后于体育和医学等领域。因此，世界各地的许多艺术家长期以来一直面临着在身体和心理限制的约束下体现艺术表现力和创造力的问题。本研究提供的关于产生多样化表现力的基础技能的知识，将有助于创造一个艺术家从身体和心理约束中解放出来、能够充分体现其创造力的未来社会。这将通过建立一种新的、基于音乐表演科学——动态形式学（dynaformics）——的循证音乐教育形式来实现。