Generalization, i.e., the ability to adapt to novel scenarios, is the hallmark of human intelligence. While we have systems that excel at recognizing objects, cleaning floors, playing complex games and occasionally beating humans, they are incredibly specific in that they only perform the tasks they are trained for and are miserable at generalization. Could optimizing towards fixed external goals be hindering the generalization instead of aiding it? In this thesis, we present our initial efforts toward endowing artificial agents with a human-like ability to generalize in diverse scenarios. The main insight is to first allow the agent to learn general-purpose skills in a completely self-supervised manner, without optimizing for any external goal.

To be able to learn on its own, the claim is that an artificial agent must be embodied in the world, develop an understanding of its sensory input (e.g., image stream) and simultaneously learn to map this understanding to its motor outputs (e.g., torques) in an unsupervised manner. All these considerations lead to two fundamental questions: how to learn rich representations of the world similar to what humans learn?; and how to re-use such a representation of past knowledge to incrementally adapt and learn more about the world similar to how humans do? We believe prediction is the key to this answer. We propose generic mechanisms that employ prediction as a supervisory signal in allowing the agents to learn sensory representations as well as motor control. These two abilities equip an embodied agent with a basic set of general-purpose skills which are then later repurposed to perform complex tasks.

We discuss how this framework can be instantiated to develop curiosity-driven agents (virtual as well as real) that can learn to play games, learn to walk, and learn to perform real-world object manipulation without any rewards or supervision. These self-supervised robotic agents, after exploring the environment, can generalize to find their way in office environments, tie knots using rope, rearrange object configuration, and compose their skills in a modular fashion.

Learning to Generalize via Self-Supervised Prediction.pdf
42
0

相关内容

用已知某种或某些特性的样本作为训练集,以建立一个数学模型(如模式识别中的判别模型,人工神经网络法中的权重模型等),再用已建立的模型来预测未知样本,此种方法称为有监督学习。是最常见的机器学习方法。
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
69+阅读 · 2020年6月19日
还在修改博士论文?这份《博士论文写作技巧》为你指南
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
100+阅读 · 2020年3月18日
深度强化学习策略梯度教程,53页ppt
专知会员服务
130+阅读 · 2020年2月1日
强化学习最新教程,17页pdf
专知会员服务
90+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
55+阅读 · 2019年10月10日
强化学习三篇论文 避免遗忘等
CreateAMind
12+阅读 · 2019年5月24日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
动物脑的好奇心和强化学习的好奇心
CreateAMind
7+阅读 · 2019年1月26日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
32+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
24+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
Continual Unsupervised Representation Learning
Arxiv
5+阅读 · 2019年10月31日
Meta-Learning with Implicit Gradients
Arxiv
7+阅读 · 2019年9月10日
Few-shot Learning: A Survey
Arxiv
340+阅读 · 2019年4月10日
Risk-Aware Active Inverse Reinforcement Learning
Arxiv
5+阅读 · 2019年1月8日
Physical Primitive Decomposition
Arxiv
3+阅读 · 2018年9月13日
小贴士
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
12+阅读 · 2019年5月24日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
动物脑的好奇心和强化学习的好奇心
CreateAMind
7+阅读 · 2019年1月26日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
32+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
24+阅读 · 2018年9月12日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
相关论文
Continual Unsupervised Representation Learning
Arxiv
5+阅读 · 2019年10月31日
Meta-Learning with Implicit Gradients
Arxiv
7+阅读 · 2019年9月10日
Few-shot Learning: A Survey
Arxiv
340+阅读 · 2019年4月10日
Risk-Aware Active Inverse Reinforcement Learning
Arxiv
5+阅读 · 2019年1月8日
Physical Primitive Decomposition
Arxiv
3+阅读 · 2018年9月13日
微信扫码咨询专知VIP会员