Breakthroughs in machine learning in the last decade have led to `digital intelligence', i.e. machine learning models capable of learning from vast amounts of labeled data to perform several digital tasks such as speech recognition, face recognition, machine translation and so on. The goal of this thesis is to make progress towards designing algorithms capable of `physical intelligence', i.e. building intelligent autonomous navigation agents capable of learning to perform complex navigation tasks in the physical world involving visual perception, natural language understanding, reasoning, planning, and sequential decision making. Despite several advances in classical navigation methods in the last few decades, current navigation agents struggle at long-term semantic navigation tasks. In the first part of the thesis, we discuss our work on short-term navigation using end-to-end reinforcement learning to tackle challenges such as obstacle avoidance, semantic perception, language grounding, and reasoning. In the second part, we present a new class of navigation methods based on modular learning and structured explicit map representations, which leverage the strengths of both classical and end-to-end learning methods, to tackle long-term navigation tasks. We show that these methods are able to effectively tackle challenges such as localization, mapping, long-term planning, exploration and learning semantic priors. These modular learning methods are capable of long-term spatial and semantic understanding and achieve state-of-the-art results on various navigation tasks.


翻译:过去十年中,机器学习的突破导致“数字智能”,即能够从大量标签数据中学习的机器学习模型,以完成语音识别、面部识别、机器翻译等数项数字任务。本论文的目的是在设计能够“物理智能”的算法方面取得进展,即建设智能自主的导航代理,能够学会在物理世界中执行复杂的导航任务,包括视觉认知、自然语言理解、推理、规划和顺序决策。尽管在过去几十年中古典导航方法取得了一些进展,但目前导航代理在长期的语义导航任务中挣扎。在论文的第一部分,我们讨论了我们利用端到端强化学习来应对障碍避免、语义认知、语言定位和推理等挑战的短期导航工作。在第二部分,我们介绍了基于模块学习和结构清晰的地图展示的新型导航方法,利用古典和端到端到端学习方法的优势,应对长期导航任务。我们表明,这些方法能够有效应对长期导航任务,我们先期的探索和长期学习方法。我们表明,这些方法能够有效地应对长期探索,这些先期的学习方法。

19
下载
关闭预览

相关内容

深度强化学习策略梯度教程,53页ppt
专知会员服务
144+阅读 · 2020年2月1日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
112+阅读 · 2019年10月12日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
78+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
8+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
11+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
17+阅读 · 2017年12月17日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
强化学习族谱
CreateAMind
19+阅读 · 2017年8月2日
Monocular Plan View Networks for Autonomous Driving
Arxiv
5+阅读 · 2019年5月16日
Arxiv
3+阅读 · 2018年4月11日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
8+阅读 · 2019年1月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
11+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
17+阅读 · 2017年12月17日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
强化学习族谱
CreateAMind
19+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员