该系统将用户嵌入到一个配有多个传感器显示屏的VR控制室中,使其感觉仿佛置身于机器人的头部。通过使用手势,用户可以将自己的动作与机器人的动作相匹配,从而完成各种任务。
“这样的系统最终可以帮助人类远程监督机器人,”CSAIL博士后助理Jeffrey Lipton说道,他是关于该系统相关论文的第一作者。“通过在家中远程操作机器人,蓝领工人将能够远程办公,并像现在的白领工人一样从IT革命中受益。”
研究人员甚至设想,通过将制造岗位“游戏化”,这样的系统可以帮助越来越多的失业视频游戏玩家就业。
该团队利用Rethink Robotics公司的Baxter人形机器人演示了他们的VC控制方法,但表示该方法也适用于其他机器人平台,并且兼容HTC Vive头显。
Lipton与CSAIL主任Daniela Rus及研究员Aidan Fay共同撰写了这篇论文。本周,他们在温哥华举行的IEEE/RSJ智能机器人与系统国际会议(IROS)上展示了该论文。
工作原理
传统上,将VR用于远程操作主要有两种方法。
在“直接”模型中,用户的视觉直接与机器人的状态耦合。在使用这些系统时,信号延迟可能导致恶心和头痛,且用户的视角仅限于单一视角。
在“信息物理”模型中,用户与机器人是分离的。用户与机器人及环境的虚拟副本进行交互。这需要更多的数据以及专门的空间。
CSAIL团队的系统介于这两种方法之间。它解决了延迟问题,因为用户不断从虚拟世界接收视觉反馈。它也解决了信息物理模型中与机器人分离的问题:一旦用户戴上头显并登录系统,他们就会感觉仿佛置身于Baxter的头部之中。
该系统模仿了“侏儒心智模型”——即我们大脑中有一个小人在控制我们的行动,观看我们看到的图像并为我们理解这些图像的想法。虽然这对人类来说是一个奇特的想法,但对机器人来说却很合适:“在”机器人“内部”的是一个位于控制室的人,通过它的眼睛观察并控制它的行动。
利用Oculus的控制器,用户可以与虚拟空间中出现的控制装置交互,以开合手爪来抓取、移动和取回物品。用户可以在查看机械臂实时显示画面的同时,根据手臂位置标记与手部之间的距离来规划动作。
为了实现这些动作,人类的空间被映射到虚拟空间,然后虚拟空间再被映射到机器人空间,以提供一种同处一地的感觉。
与以往需要大量资源的系统相比,该系统也更加灵活。其他系统可能会从每个摄像头提取2-D信息,构建完整的环境3-D模型,然后处理并重新显示数据。
相比之下,CSAIL团队的方法通过获取显示给每只眼睛的2-D图像,绕过了所有这些步骤。(人类大脑通过自动推断3-D信息来完成其余工作。)
为了测试该系统,团队首先远程操作Baxter完成简单任务,如拾取螺丝或装订电线。随后,他们让测试用户远程操作机器人拾取并堆叠积木。
与“直接”模型相比,用户成功完成任务的比率要高得多。不出所料,有游戏经验的用户使用该系统更加得心应手。
与最先进的系统相比,CSAIL的系统在95%的情况下能更好地抓取物体,且完成任务的速度快了57%。团队还展示了该系统可以在数百英里外操控机器人,他们在华盛顿特区一家酒店的无线网络上进行测试,控制位于MIT的Baxter。
“这一贡献代表了在以直观、自然和有效的方式将用户与机器人空间连接起来的努力中的一个重要里程碑。”斯坦福大学计算机科学教授Oussama Khatib说道,他没有参与该论文。
团队最终希望致力于提高系统的可扩展性,使其能容纳更多用户和不同类型的机器人,并与当前的自动化技术兼容。
该项目部分由波音公司和美国国家科学基金会资助。
视频:https://www.youtube.com/watch?list=UUPLAYER_MITCSAIL&time_continue=5&v=4a-W3Od5-t8