在过去的几十年里，工程师们创造了能力日益增强的先进设备。近年来，一种称为“空间计算”（Spatial Computing）的设备技术发展迅速。术语“空间计算”本质上意为计算机、机器人以及其他电子设备对它们周围的环境进行感知，并能够用数字化的方式将其表达出来的能力。使用传感器与混合现实（Mixed Reality，MR）等尖端科技可以大幅增强空间计算能力，从而创造一个精密的感知测绘系统。

微软混合现实与人工智能实验室（Microsoft Mixed Reality and AI Lab）和苏黎世联邦理工学院（ETH Zurich）的研究人员最近开发了一个新的框架，融合混合现实与机器人技术，增强了空间计算应用。他们在一系列人机交互系统上实现并测试了这一框架，该成果在他们发表于arXiv的论文中有所介绍。

“空间计算和个体中心感知在混合现实设备上的结合使它们能够捕获、理解人类活动并为其赋予空间意义，这为人机结合提供了令人激动的新可能。”研究人员在他们的文章中写道，“这篇文章介绍了一些使用这种技术实现新的机器人应用实例的人机系统，例如巡查任务规划、手势控制以及沉浸式远程控制。”该研究团队设计的基于混合现实与机器人技术的框架已经在三个具有不同功能的系统上实现。值得一提的是，这些系统都需要使用HoloLens混合现实头戴式设备。

第一个系统被设计用于机器人任务规划，这涉及对给定环境的巡查。具体来说，人类用户佩戴Hololens头戴式设备在他/她希望巡查的环境中移动，并放置路标，借此定义机器人轨迹并塑造全息图。此外，用户可以选择需要机器人收集图片或数据的特定区域进行高亮显示。这些信息经过处理和翻译，就可以使机器人在环境中巡查时指引它的移动和行为。

研究人员提出的第二个系统是一个界面，能让人类用户与机器人更高效地交互，例如用手势控制机器人的运动。此外，这一系统可以使多种设备，包括混合现实头戴式设备、智能手机和机器人，实现同定位（colocalization）。“设备的同定位要求它们能够独立自主地定位在一个共同的参考坐标系统中。”研究人员说道，“利用它们在这个共同坐标框架下的个体姿态，可以计算本地设备间的相对变化，从而产生新行为并实现设备之间的协作。”为实现设备的同定位，团队引入了一个框架，保证系统中的所有设备可以共享彼此的相对位置和共同的参考地图。此外，用户可以使用HoloLens头戴式设备，通过一系列简单的手势操作很容易地对机器人进行导航指引。

最后，第三个系统能够实现沉浸式的远程操控，这意味着用户可以在观察机器人周围环境的同时远距离控制它。当需要机器人在一些人类难以接近的环境中巡航时，这一系统可能相当有用。“我们探索了用户与机器人之间的投射关系，包括将用户行为映射到机器人，以及将机器人的空间感知反馈到用户。”研究人员解释道，“我们考虑了几种不同的沉浸程度：基于触摸和操纵机器人模型来进行的控制，以及更高层次，用户成为机器人本身并将用户运动直接映射到机器人身上。”

微软的Jeffrey Delmerico和他的同事提出的这三个系统在最初的测试中达到了较好的效果，凸显了使用混合现实来增强空间计算和人机交互的潜力。未来，这些系统可以被应用到不同的环境中，使人类和机器紧密合作，高效地解决更多现实生活中的复杂问题。