在本文中,我们的目标是改进深度强化学习中的泛化。对任何类型的学习来说,泛化都是一项基本挑战,它决定了如何将已获得的知识转移到新的、以前从未见过的情况中。本文专注于强化学习,这是一个描述人工智能体如何学习与环境交互以实现目标的框架。近年来,利用神经网络表示智能体取得了显著的成功,并极大地扩展了其可能的应用范围。本文的目标是通过允许这些智能体更快地学习,学习更好的解决方案,并对以前未见过的情况做出鲁棒的反应,从而提高它们的性能。在这个探索中,我们探索了一系列不同的方法和途径。我们专注于将额外的结构,也称为归纳偏差,纳入主体。专注于特定的,但广泛适用的问题领域,我们可以开发专门的架构,从而大大提高性能。在第3章中,我们关注的是部分可观察环境,在这种环境中,智能体每时每刻都不能完全访问所有与任务相关的信息。在第4章中,我们将注意力转向多任务和迁移学习,并设计了一种新的训练方法,允许训练分层结构的智能体。我们的方法优化了单个解决方案的可重用性,大大提高了传输设置中的性能。

https://ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中,我们将注意力转向正则化,这是另一种形式的归纳偏差,作为提高深度智能体泛化的方法。在第五章中,我们首先探讨了强化学习(RL)中的随机正则化。虽然这些技术已被证明在监督学习中非常有效,但我们强调并克服了将它们直接应用到在线RL算法中的困难,这是RL中最强大和应用最广泛的学习类型之一。在第6章中,我们通过探索训练数据中的瞬态非平稳性如何干扰神经网络的随机梯度训练,并使其偏向较差的解,在更基本的水平上研究了深度rl中的泛化。许多先进的RL算法将这些类型的非平稳性引入到训练中,甚至在平稳环境中,通过使用持续改进的数据收集策略。我们提出了一个新的框架,以减少经过训练的策略所经历的非平稳性,从而允许改进的泛化。

成为VIP会员查看完整内容
69

相关内容

牛津大学是一所英国研究型大学,也是罗素大学集团、英国“G5超级精英大学”,欧洲顶尖大学科英布拉集团、欧洲研究型大学联盟的核心成员。牛津大学培养了众多社会名人,包括了27位英国首相、60位诺贝尔奖得主以及数十位世界各国的皇室成员和政治领袖。2016年9月,泰晤士高等教育发布了2016-2017年度世界大学排名,其中牛津大学排名第一。

【牛津大学博士论文】持续学习的高效机器学习,213页pdf
专知会员服务
55+阅读 · 2022年10月19日
【牛津大学博士论文】元强化学习的快速自适应,217页pdf
UCL& UC Berkeley | 深度强化学习中的泛化研究综述
专知会员服务
47+阅读 · 2021年11月22日
【CMU博士论文Wen Sun】强化学习的泛化性与效率,206页pdf
专知会员服务
76+阅读 · 2020年9月28日
【CMU博士论文】机器人深度强化学习,128页pdf
专知会员服务
94+阅读 · 2020年8月27日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
5+阅读 · 2022年1月16日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年11月10日
Arxiv
3+阅读 · 2022年11月9日
Arxiv
0+阅读 · 2022年11月8日
Arxiv
10+阅读 · 2019年9月30日
Arxiv
11+阅读 · 2019年3月14日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2022年11月10日
Arxiv
3+阅读 · 2022年11月9日
Arxiv
0+阅读 · 2022年11月8日
Arxiv
10+阅读 · 2019年9月30日
Arxiv
11+阅读 · 2019年3月14日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
微信扫码咨询专知VIP会员