虚拟标记可在拥挤的环境中实现高度精确的多动物姿势跟踪

研究动物在自然环境中的社会行为对于增进我们对神经过程的理解是必要的。为了实现这一目标，在共享空间中同时准确地跟踪多个人互动是至关重要的

传统的多动物跟踪系统，如多动物DeepLabCut（maDLC）和Social LEAP Estimates animal Posses（SLEAP），使用逐帧识别来预测运动，而不需要标记。虽然这些工具在简单的场景中有效地跟踪姿势，如头部方向，但在动物聚集或相互遮挡的拥挤环境中，它们变得无效

为了应对这些挑战，日本同志社大学脑科学研究生院的研究助理Hirotsugu Azechi教授和Susumu Takahashi教授开发了一种名为“虚拟标记跟踪”（vmTracking）的方法，该方法将虚拟标记分配给无标记的动物视频受试者，以实现一致的识别，然后将其用于姿势跟踪，而不依赖于物理标记

他们在vmTracking系统上的工作发表在PLOS Biology上

以前，使用单个动物DLC（saDLC）可以跟踪多个视觉上可区分的动物，如黑白小鼠。vmTracking的概念是从这个想法发展而来的：如果可以使用标记为视觉上无法区分的动物分配虚拟身份，就有可能跟踪它们

Azechi博士解释说：“为此，我们决定使用从传统多动物姿势跟踪中获得的标签作为‘虚拟’标记，这有助于跟踪多个动物姿势，同时保持动物在现实中没有标记。因此，在vmTracking中，为了不同的目的进行了两个连续的跟踪过程：分配虚拟标记和跟踪这些标记。”

vmTracking的第一步是跟踪多只动物并创建一个包含跟踪结果的输出文件。通过这段视频，为每只动物分配了一致的虚拟标记，以便逐帧准确识别。然后，使用saDLC等单一动物姿势跟踪工具，分析了多个虚拟标记动物的视频

为了评估其在低对比度环境中跟踪个体的能力，vmTracking被应用于在黑色背景下跟踪黑色小鼠

即使在遮挡和拥挤会阻碍个体识别的情况下，vmT-DLC（vmTracking与DLC的集成）在匹配方面也优于maDLC，并且随着识别匹配率的提高，姿态跟踪精度普遍提高

此外，当在白色背景下跟踪黑色小鼠时，vmTracking在匹配中的表现明显优于maDLC，即使在封闭和拥挤的空间中，其跟踪精度也超过了虚拟标记的精度

Azechi博士说：“vmTracking最大限度地减少了训练所需的手动校正和注释帧，有效地解决了遮挡和拥挤问题。”

为了证明vmTracking在跨物种中的适用性，研究人员对10条鱼进行了跟踪实验。使用vmT DLC，目标匹配率和预测匹配率均超过99%，证明了鱼群姿态跟踪的高度准确性。这些实验被扩展到跟踪人类舞者的协调姿势和动作，得到了类似的高精度结果

与超过100000名依赖Phys.org获取日常见解的订阅者一起探索科学、技术和太空的最新进展。注册我们的免费时事通讯，每天或每周获取重要突破、创新和研究的最新进展

Azechi博士解释说：“这表明vmTracking在体育分析等人类场景中的潜在应用，包括足球和篮球等高度动态的接触性运动，在这些运动中，球员互动频繁。”

这项研究表明，通过将虚拟标记应用于无标记动物的视频，即使在复杂和拥挤的环境中，也可以进行准确有效的跟踪。vmTracking简化了跟踪过程，大大减少了对手动注释和培训的依赖，使其在实际应用中更加用户友好。它有助于克服拥挤环境中的跟踪误差，提高集体行为研究的准确性

Azechi博士总结道：“总体而言，vmTracking是传统跟踪方法的有力替代品，也是研究动物行为、生态学和相关领域的有用工具。它为多动物姿势跟踪中一些最持久的挑战提供了有效和高效的解决方案，重点是提供对研究至关重要的准确可靠的跟踪结果。”

进一步研究虚拟标记的数量、颜色、大小和位置等因素如何影响vmTracking的准确性，将有助于改进这种方法，并为更深入地理解群体动态和社会行为开辟可能性 More information: Hirotsugu Azechi et al, vmTracking enables highly accurate multi-animal pose tracking in crowded environments, PLOS Biology (2025). DOI: 10.1371/journal.pbio.3003002

Journal information: PLoS Biology