主题: Grounding Natural Language for Building Embodied Agents

简介:

在过去的两年中,语言和视觉交叉领域出现了一些新的任务。其中最受欢迎的是2018年引入的视觉语言导航(VLN)任务。该任务将一个智能体随机放置在家中,并根据自然语言命令指示它们导航到目标目的地。要在这个领域取得成功,需要构建多模态语言地基,允许智能体成功地导航,同时对视觉语言动态进行推理。在MSR中,我们通过结合使用搜索、模仿学习和预训练的方法,显著地推动了这一领域的最新技术。关于VLN之类任务的基本假设是,我们将构建执行命令的智能体。我们训练这些智能体的方法是通过提供观察-操作元组的示例,将其转换为单向语言。我们训练我们的智能体执行我们的命令,但没有必要教智能体如何应对环境中的不确定性。在这个演讲,我将提出我们的最近在强化学习,模仿学习和VLN任务上的预训练方法方面的工作,并将我们的新思路转化为一个更一般的问题,以理解系统如何请求和接受帮助,从而探索视觉语言导航研究领域的技术转移和推广。

作者简介:

Asli Celikyilmaz是微软研究院首席研究员,主要研究兴趣在深度学习和自然语言处理领域,对长文本生成、自动摘要、改进编解码器模型、会话对话建模有更广泛的兴趣。

成为VIP会员查看完整内容
2

相关内容

智能体,顾名思义,就是具有智能的实体,英文名是Agent。
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
10+阅读 · 2019年3月16日
用于神经机器翻译的全并行文本生成
全球人工智能
7+阅读 · 2017年11月13日
Arxiv
6+阅读 · 2018年11月1日
Paraphrase Generation with Deep Reinforcement Learning
Relational Deep Reinforcement Learning
Arxiv
6+阅读 · 2018年6月28日
VIP会员
相关VIP内容
微信扫码咨询专知VIP会员