本报告全面总结了作为机器人语言项目的一部分所做出的贡献，该项目是由美国陆军作战能力发展司令部陆军研究实验室牵头，与南加州大学创意技术研究所和卡内基梅隆大学的研究人员合作开展的一项为期五年的倡议。特别是，本报告描述了在 "用智能系统进行共同理解和解释的自然行为 "项目下资助的成就。这项研究的目标是为人们使用语言与机器人交流提供更自然的方式。愿景是使机器人能够与人类队友进行来回对话，机器人可以提供状态更新，并在适当的时候要求澄清。为此，我们进行了四个分阶段的实验，在这些实验中，人类参与者向远程的机器人发出导航指令，而机器人的对话和导航过程最初由人类实验者控制。在实验过程中，自动化被逐步引入，直到对话处理完全由一个在以前的实验中收集的数据上训练出来的分类器驱动。
机器人语言项目的新贡献包括：1）这种多阶段的方法来收集无约束的自然语言，作为机器学习算法的训练数据，以支持对话互动；2）收集对话和机器人数据的语料库，并策划成SCOUT语料库（理解交易的情景语料库）；3）一系列完全自动化的、 3）一系列全自动的概念验证系统，显示了所采取的方法的技术前景，4）作为项目一部分创建的算法，现在构成了陆军联合理解和对话接口能力的基础，使士兵和自主系统之间的对话互动成为可能，以及5）通过对话-AMR（抽象意义表示）形式主义在人类-机器人对话的指令语义方面的创新。
图1 指挥官向机器人发出口头指令，机器人的能力由两个向导来执行，分别代表对话管理和机器人导航的能力。
引言
这项研究的重点是通过采用对话作为交流模式，使士兵与智能体的互动，特别是与机器人等具身智能体的互动，既安全又更有效。对话，特别是使用自然语言的来回口头对话，比传统的图形用户界面有许多好处。其中，对话使智能体能够在指令不明确时提示人类队友进行澄清，并在任务完成后提供状态更新。自然语言对话可以帮助实现智能智能体作为士兵身边的队友的愿景，提供士兵今天在完成任务时使用的直观的无约束的交流模式。
以收集与智能体的自然对话为目标，我们希望采用一种实验方法，使我们能够解决以下问题： 1）智能体如何作为队友与人类进行有效的交流，以完成共同的任务？ 2）当人类指导机器人等智能体时，交流的协议如何能以智能体可以使用的形式，从人类那里引出自然的多样性交流策略？为了回答这些问题，我们与陆军大学附属研究中心南加州大学创意技术研究所（USC ICT）的研究人员合作，通过实验确定如何将开发智能虚拟人的方法适应于机器人。虽然物理机器人平台是我们的主要任务，但我们的目标是确定可以推广到各种可以从对话中受益的软件智能体的方法。
在南加州大学ICT的SimSensei项目中，研究人员使用了一种我们称之为数据驱动的 "Wizard-of-Oz"（DWoZ）的方法来观察人类如何与他们认为是自主的虚拟化身聊天。实际上，他们在屏幕上看到的头像是由人类 "巫师 "实验者控制的。在与南加州大学ICT的合作中，我们的目标是评估这些贡献是否可以扩展到自主系统，即地面机器人，以支持与人类队友的合作搜索和导航任务。该项目由美国陆军作战能力发展司令部（DEVCOM）陆军研究实验室（ARL）的资助项目 "与智能系统共同理解和解释的自然行为 "赞助，对外称为 "机器人语言 "项目，由一系列实验组成，执行多阶段实验的设想，其中向导代表人工智能（AI）组件，在后期阶段 "自动消失"。操作上的假设是，像移动机器人这样的物理智能体的对话系统可以通过基于DWoZ的对话收集来训练。
这项研究对对话、人机交互、人类因素和自然语言处理领域的新贡献如下：
-
一种多阶段的、经验性的方法来收集机器学习算法的训练数据，以支持与指向物理世界的智能体（如移动机器人）的对话互动（第4和第5节）。
-
一个对话和机器人数据的语料库（Situated Corpus of Understanding Transactions [SCOUT]），作为告知智能体在协作搜索和导航任务中如何回应人类队友的基础（6.1节）。
-
在研究过程中开发的一系列完全自动化、端到端的概念验证系统，显示了使用DWoZ方法与智能体进行自然对话互动的技术前景（第6.2节）。
-
作为项目的一部分而创建的算法，现在构成了陆军联合理解和对话界面（JUDI）能力的基础，使士兵和自主系统之间的对话互动得以实现（第6.3节）。
-
一套新颖的注释方案，对指导智能体和控制机器人行为的向导实验者之间的对话交流的结构、内容和语义进行建模（第6.4节）。
本报告的其余部分组织如下。第2节提供了相关工作的基本概述。第3节将先前的研究和本项目之前进行的预试验研究与DWoZ设计的选定配置联系起来。第4节概述了任务和实验设置。第5节对实验及其结果进行了高水平的描述。最后，第6节讨论了项目的影响，第7节是衡量标准，第8节是总结性意见。
原文
相关内容
微信扫码咨询专知VIP会员