对于人类来说，找到埋在一堆东西下面的丢失的钱包是非常简单的，因为我们只需要从那堆东西中取出东西，直到找到钱包就可以了。但对于一个机器人来说，这项任务需要对其中的堆和物体进行复杂的推理，这是一个严峻的挑战。

麻省理工学院的研究人员此前展示了一种结合了视觉信息和射频(RF)信号的机械臂，它可以找到带有RFID标签(这种标签反射天线发出的信号)的隐藏物体。在这项工作的基础上，他们现在开发了一种新的系统，可以有效地检索埋在堆里的任何物体，只要堆中的一些物品有RFID标签，目标物品不需要被标记，系统就可以恢复它。

该系统背后的算法被称为FuseBot，可以判断堆下物体的可能位置和方向。然后FuseBot找到最有效的方法移除障碍物，提取目标物品。这种推理使FuseBot比最先进的机器人系统找到更多的隐藏物品，时间并能缩短了一半。

这种速度在电子商务仓库中尤其有用，一个负责处理回报的机器人可以通过FuseBot系统更有效地在未分类的堆中找到物品，电子工程与计算机科学系副教授、媒体实验室信号动力学小组主任Fadel Adib说。

“这篇论文首次表明，环境中仅存在带有 RFID 标签的物品就可以让您更轻松地以更有效的方式完成其他任务，我们能够做到这一点是因为我们在系统中添加了多模态推理，FuseBot可以通过视觉和射频推理来理解一堆物品。”Adib补充道。

与Adib一起发表这篇论文的还有研究助理Tara Boroushaki，她是论文的第一作者，还有Laura Dodds和Nazish Naeem，该研究将在机器人：科学与系统会议上发表。

定位标签

最近的一份市场报告显示，超过90%的美国零售商现在使用RFID标签，但这项技术并不普遍，在一堆物品中只有部分物品被贴上标签。

这个问题启发了这个小组的研究。在FuseBot中，机械臂使用一个附加的摄像机和射频天线从混合堆中检索未标记的目标物品。该系统用摄像头扫描桩，创建环境的3D模型。同时，它从天线发送信号来定位RFID标签。这些无线电波可以穿过大多数固体表面，因此机器人可以“看到”堆的深处。由于目标物品没有标记，FuseBot知道该物品不能与RFID标签位于完全相同的位置。

算法融合这些信息来更新环境的3D模型，并突出目标物品的潜在位置，机器人知道自己的大小和形状，然后系统根据堆中物品的位置和RFID标签的位置来确定需要移除的物品，以最少的移动找到目标物品。

Boroushaki说，将这种推理纳入系统是具有挑战性的。

机器人不知道堆下的物体是如何定位的，也不知道一个黏糊糊的物体会如何被更重的物体压变形，它通过概率推理克服了这一挑战，利用它所知道的物体的大小和形状以及它的RFID标签位置来建模该物体可能占据的3D空间。

当它删除条目时，它也会使用推理来决定接下来删除哪个条目是“最好的”。

Boroushaki说：“如果我给一个人一堆东西去搜索，他们很可能会先把最大的东西拿掉，看看下面有什么。机器人所做的事情与此类似，但它还融入了RFID信息，以做出更明智的决定。如果它从表面上移除这个东西，它会对这堆东西了解多少?’”

在移除一个物体后，机器人会再次扫描这个堆，并利用新的信息来优化它的策略。

检索结果

这种推理以及它对射频信号的使用，让FuseBot比只使用视觉的最先进的系统更有优势。该团队使用真正的机械臂进行了180多次实验，并放置了办公用品、填充动物和服装等家庭用品，他们改变了每一堆物品的大小和有射频识别标签的数量。

FuseBot系统提取目标物品的成功率为95%，而其他机器人系统的成功率为84%。它通过减少40%的移动完成了这一点，并且能够以两倍多的速度找到和检索目标物品。

Dodds说：“我们看到，通过结合这种射频信息，成功率有了很大提高。令人兴奋的是，我们能够匹配我们之前的系统的性能，并在目标物品没有RFID标签的情况下超过它。”

Boroushaki补充说，FuseBot可以应用于各种环境，因为执行复杂推理的软件可以在任何计算机上实现，它只需要与带有摄像头和天线的机械臂通信。

在不久的将来，研究人员计划在FuseBot中加入更复杂的模型，使其在可变形物体上表现更好。除此之外，他们还对探索不同的操作方式感兴趣，比如用机械臂将物品推开。该系统的未来迭代还可以用于移动机器人，在多个堆中寻找丢失的物体。