【伯克利博士论文】将机器人的表征与人类对齐

机器人正逐渐融入我们社会的各个层面，从街头的自动驾驶汽车到家中的辅助机械臂。为了在世界中执行任务，机器人依赖于对任务显要特征的表征：例如，要递给我一杯咖啡，机器人会在其行为中考虑运动效率和杯子的方向。然而，如果我们希望机器人能够为人类行动，它们的表征不能仅仅是功能性的，还必须反映出人类关心的内容，即它们的表征必须与人类的表征相一致。妨碍我们成功实现人机交互的是，这些表征通常是不一致的，从而导致从协调不当和误解，到学习和执行危险行为等问题的产生。

为了了解任务中对人类而言重要的表征，常见的方法依赖于人类行为的数据集，但这些数据无法反映出机器人将会接触到的每个个体、环境和任务。本文主张，我们应该将人类视为互动中的活动参与者，而不是静态的数据源：机器人必须与人类进行互动过程，以找到共享的表征。我们将表征对齐问题形式化为共同寻找共享表征的过程。然后，我们提出，与其希望表征自然一致，不如让人类直接通过特定于表征的输入向机器人传授这些表征。接下来，我们使机器人能够通过估计机器人的表征能够解释人类行为的程度的置信度，自动检测与人类的表征不一致之处。我们演示了与人类对齐的表征如何导致新颖的人类行为模型，其影响超越了机器人技术领域，还涉及计量经济学和认知科学。最后，本论文通过提出问题“机器人如何帮助人机团队达成共享的表征？”来结束，并讨论了未来扩展表征对齐以实现无缝人机交互的研究机会。

机器人正逐渐融入社会的各个层面，从城市中的自动驾驶汽车到太空站上的个人机器人再到家庭中的辅助机械臂。尽管自主系统集成不断增加，但机器人与人类之间的无缝交互仍然难以实现：自动驾驶汽车仍然会在非常规情况下发生事故[202]，飞行控制系统在冲突的飞行员干预下仍会产生拉锯场景[105]，正如我们在这篇论文中所看到的，个人机器人会将物体移动到离用户非常近的位置[43]。人机交互中这些故障模式背后的原因是什么？在我们的机器人目前如何决定如何与人类互动方面，仍然存在什么问题？为了在世界中执行任务，机器人依赖于对任务显要特征的表征：例如，要递给用户一杯咖啡，机器人可能会在其行为中考虑运动效率和杯子的方向。在这个简单的例子中，预测机器人的表征应该是什么相对较容易：几乎每个系统设计师都能提前考虑到效率和关节方向作为一般机器人运动重要的特征。然而，人们对机器人在他们周围如何表现的偏好可能会更加复杂，因个体、环境和任务而异。在上述例子中，用户可能会关心机器人靠近他们的距离，或者是否会在携带装满咖啡的杯子时绕过他们昂贵的笔记本电脑，而“靠近”或“绕过”意味着会因人而异并且受上下文影响。这使得枚举可能对人们重要的所有特征变得更具挑战性，甚至可能不可能完成。

这个例子说明，如果我们希望机器人能够为人类行动，与人类共同行动，它们的表征不能仅仅是功能性的，还必须反映出人类关心的内容，即它们的表征必须与人类的表征相一致。一旦我们采用了这种观点，我们就会发现，妨碍我们成功实现人机交互的是，这些表征经常不一致。在不了解个人空间的情况下，辅助机器人将用户的杯子移动到离他们的脸几英寸远的地方[43]。在不知道违章横穿马路的行人的情况下，自动驾驶汽车无法正确检测到他们，从而导致与他们发生致命碰撞[202]。在没有意识到飞行员不知道新的设计特点的情况下，飞行控制系统陷入了拉锯战，导致飞机俯冲坠入海中[105]。在这篇论文中，我们主张解决交互问题的关键是将机器人的表征与人类对齐。典型的方法试图从人类行为的汇总数据集中学习人类在任务中关心的内容的表征，但这些数据也无法反映出机器人将会面临的每个个体、环境和任务。相反，我们建议将人类视为交互中的活跃参与者，而不是静态的数据源。由于人类对任务有个性化的表征，他们独特地具备向机器人传达他们关心事项的能力。这导致了本论文的核心观点：成功的人机交互需要机器人与人类进行互动过程，以找到一个共同的、对任务显要特征的共享表征。

总体而言，本论文通过明确解决表征对齐问题来处理交互，而不是希望它会自然产生。这使我们能够以可扩展、易于访问和稳健的方式将人类行为的认知模型与机器学习方法结合起来，并开发出可靠且透明的与人类对齐的交互实用算法。在整篇论文中，我们通过与真实人类参与者进行机器人实验来评估我们的方法。我们的主要贡献主要在辅助和个人机器人等交互环境中得以展示，但我们的观点对于其他应用领域如自动驾驶、飞行控制系统、送货四旋翼飞行器和半自主外科手术机器人也具有广泛的影响。图1.1提供了论文的四个主要部分的视觉概述（我们在下面简要说明），以及它们如何适应人机交互中表征对齐的更广泛领域。在本论文的结论中，我们讨论了一些未来的研究方向，以实现更加无缝的人机交互。