在现实生活中部署人工智能体的一个基本问题是它们快速适应环境的能力。传统的强化学习(RL)以两种方式与这一需求作斗争。首先,对不受约束的环境动态的迭代探索会产生大量信息不足的更新,从而导致适应速度缓慢。其次,最终的策略没有能力适应未来的观察结果,必须随着观察结果的发生缓慢地无限学习或完全重新训练。本文探讨了两种旨在解决这些问题的表述。元强化学习对整个任务分布的考虑使策略能够快速适应特定实例。通过强迫智能体特定地请求反馈,主动强化学习强制进行选择性的观察和更新。这两个公式都简化为贝叶斯-自适应设置,在其中保持对可能环境的概率信念。许多现有的解只提供了在实际环境中使用有限的渐近保证。我们开发了一种近似信念管理的变分方法,并通过广泛的消融实证支持其有效性。然后,我们考虑最近成功的规划方法,但发现和讨论它们在应用到所讨论的设置中的障碍。影响RL系统的数据需求和稳定性的一个重要因素是选择合适的超参数。我们开发了一种贝叶斯优化方法,利用训练过程的迭代结构,其经验性能超过现有基线。本文的最后一个贡献是提高高斯过程(GPs)的可扩展性和表达性。虽然我们没有直接使用现有的框架,但GPs已经被用于在密切相关的设置中建模概率信念。

https://ora.ox.ac.uk/objects/uuid:54963b90-2d7c-41a9-9bf3-065a3097c077

成为VIP会员查看完整内容
41

相关内容

强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【牛津大学博士论文】持续学习的高效机器学习,213页pdf
专知会员服务
77+阅读 · 2022年10月19日
【干货书】强化学习Python真实数据与实例应用,110页pdf
专知会员服务
110+阅读 · 2022年10月13日
【牛津大学博士论文】元强化学习的快速自适应,217页pdf
【MIT博士论文】数据高效强化学习,176页pdf
专知会员服务
80+阅读 · 2022年7月11日
【MIT博士论文】数据高效强化学习,176页pdf
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Arxiv
38+阅读 · 2020年12月2日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
11+阅读 · 2018年4月25日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
相关论文
微信扫码咨询专知VIP会员