Researchers from the Cluster of Excellence Collective Behavior have developed a computer vision framework for posture estimation and identity tracking that they can use in indoor environments as well as in the wild. This is an important step toward the ma
卓越集体行为集群的研究人员开发了一种用于姿势估计和身份跟踪的计算机视觉框架，可以在室内环境和野外使用。这是利用计算机视觉和机器学习实现无标记野生动物追踪的重要一步
在康斯坦茨的一个公园里，两只鸽子正在啄谷粒。第三只鸽子飞了进来。附近有四台摄像机。康斯坦茨大学优秀集体行为集群的博士生Alex Chan和Urs Waldmann正在拍摄这一场景。一个小时后，他们带着视频返回办公室，用计算机视觉框架进行姿势估计和身份跟踪分析
该框架检测并在所有鸽子周围绘制一个框。它记录身体的中心部位，并确定它们的姿势、位置以及与周围其他鸽子的互动。所有这些都是在鸽子身上没有任何标记的情况下发生的，也不需要人类的帮助。这在几年前是不可能的
用于动物姿势跟踪的3D MuPPET框架无标记方法最近得到了快速发展，但用于在3D中跟踪大型动物群体的框架和基准仍然缺乏。为了克服这一差距，康斯坦茨大学卓越集体行为集群的研究人员Urs Waldmann和马克斯·普朗克动物行为研究所的Alex Chan及其同事提出了3D MuPPET，这是一个使用多个相机视图以交互速度估计和跟踪多达10只鸽子的3D姿势的框架
这项研究最近发表在《国际计算机视觉杂志》上
3D MuPPET是3D多鸽子姿态估计和跟踪的缩写，是一种计算机视觉框架，用于根据圈养环境甚至野外收集的数据，从四个摄像头视图对多达10只鸽子进行姿态估计和身份跟踪
Waldmann解释道：“我们训练了一个2D关键点检测器，并将点三角化为3D，还表明在单鸽子数据上训练的模型与多鸽子数据配合良好。”。这是对多达10个人的整个组进行3D动物姿势跟踪的第一个例子因此，新框架为生物学家创建实验和测量动物姿势以进行自动行为分析提供了一种具体方法。Chan说：“这个框架是动物姿势跟踪和自动行为分析的一个重要里程碑。”
框架可以在野外使用除了在室内追踪鸽子，框架还扩展到野外的鸽子。Chan表示：“使用一种可以识别图像中任何物体轮廓的模型，即Segment Anything模型，我们用圈养数据中的一只蒙面鸽子进一步训练了一个2D关键点检测器，然后将该模型应用于户外鸽子视频，而无需任何额外的模型微调。”
3D MuPPET是关于如何从圈养动物追踪过渡到野生动物追踪的首批案例研究之一，可以在动物的自然栖息地测量动物的精细行为。所开发的方法有可能在未来的工作中应用于其他物种，并有可能以非侵入性的方式应用于大规模集体行为研究和物种监测
3D MuPPET为那些希望对多个个体使用3D姿势重建来研究任何环境或物种中的集体行为的研究人员展示了一个强大而灵活的框架。只要多摄像机设置和2D姿势估计器可用，该框架就可以应用于跟踪任何动物的3D姿势