Recent years have witnessed significant progresses in deep Reinforcement Learning (RL). Empowered with large scale neural networks, carefully designed architectures, novel training algorithms and massively parallel computing devices, researchers are able to attack many challenging RL problems. However, in machine learning, more training power comes with a potential risk of more overfitting. As deep RL techniques are being applied to critical problems such as healthcare and finance, it is important to understand the generalization behaviors of the trained agents. In this paper, we conduct a systematic study of standard RL agents and find that they could overfit in various ways. Moreover, overfitting could happen "robustly": commonly used techniques in RL that add stochasticity do not necessarily prevent or detect overfitting. In particular, the same agents and learning algorithms could have drastically different test performance, even when all of them achieve optimal rewards during training. The observations call for more principled and careful evaluation protocols in RL. We conclude with a general discussion on overfitting in RL and a study of the generalization behaviors from the perspective of inductive bias.

7
下载
关闭预览

相关内容

过拟合,在AI领域多指机器学习得到模型太过复杂,导致在训练集上表现很好,然而在测试集上却不尽人意。过拟合(over-fitting)也称为过学习,它的直观表现是算法在训练集上表现好,但在测试集上表现不好,泛化性能差。过拟合是在模型参数拟合过程中由于训练数据包含抽样误差,在训练时复杂的模型将抽样误差也进行了拟合导致的。
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
89+阅读 · 2020年6月10日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
56+阅读 · 2020年2月17日
深度强化学习策略梯度教程,53页ppt
专知会员服务
131+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
33+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
96+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
强化学习族谱
CreateAMind
16+阅读 · 2017年8月2日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
5+阅读 · 2019年1月10日
Deep Reinforcement Learning: An Overview
Arxiv
13+阅读 · 2018年11月26日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
6+阅读 · 2018年9月25日
Arxiv
11+阅读 · 2018年7月31日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
4+阅读 · 2018年6月5日
Arxiv
6+阅读 · 2018年4月24日
小贴士
相关论文
Accelerated Methods for Deep Reinforcement Learning
Arxiv
5+阅读 · 2019年1月10日
Deep Reinforcement Learning: An Overview
Arxiv
13+阅读 · 2018年11月26日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
6+阅读 · 2018年9月25日
Arxiv
11+阅读 · 2018年7月31日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
4+阅读 · 2018年6月5日
Arxiv
6+阅读 · 2018年4月24日
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
10+阅读 · 2018年4月27日
强化学习族谱
CreateAMind
16+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员