This work introduces Bilinear Classes, a new structural framework, which permit generalization in reinforcement learning in a wide variety of settings through the use of function approximation. The framework incorporates nearly all existing models in which a polynomial sample complexity is achievable, and, notably, also includes new models, such as the Linear $Q^*/V^*$ model in which both the optimal $Q$-function and the optimal $V$-function are linear in some known feature space. Our main result provides an RL algorithm which has polynomial sample complexity for Bilinear Classes; notably, this sample complexity is stated in terms of a reduction to the generalization error of an underlying supervised learning sub-problem. These bounds nearly match the best known sample complexity bounds for existing models. Furthermore, this framework also extends to the infinite dimensional (RKHS) setting: for the the Linear $Q^*/V^*$ model, linear MDPs, and linear mixture MDPs, we provide sample complexities that have no explicit dependence on the explicit feature dimension (which could be infinite), but instead depends only on information theoretic quantities.


翻译:这项工作引入了双线类,这是一个新的结构框架,它允许通过使用功能近似值,在多种环境中对强化学习进行概括化,该框架包含几乎所有现有模型,其中多元样本复杂度是可以实现的,特别是还包括新的模型,例如Linear $ ⁇ /V ⁇ $$$$ /V ⁇ $$美元模型,其中最佳的美元功能和最佳的美元功能在某些已知特征空间是线性的。我们的主要结果提供了一种RL算法,该算法对双线类具有多元样本复杂度;特别是,这一抽样复杂度是用减少一个基本受监督的次级问题的一般性错误来表示的。这些模型的界限几乎与现有模型已知的最佳样本复杂度界限相匹配。此外,这一框架还延伸至无限的维度(RKHS)设置:对于Linear $ ⁇ /V ⁇ $美元模型、线性MDPs和线性混合物 MDPs,我们提供的样本复杂度并不明显依赖明确的特征层面(可能是无限的),而是仅取决于信息的理论量。

0
下载
关闭预览

相关内容

专知会员服务
39+阅读 · 2021年4月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
86+阅读 · 2020年11月20日
最新《深度强化学习中的迁移学习》综述论文
专知会员服务
111+阅读 · 2020年9月20日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
72+阅读 · 2020年9月6日
《强化学习》简介小册,24页pdf
专知会员服务
211+阅读 · 2020年4月19日
深度强化学习策略梯度教程,53页ppt
专知会员服务
137+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
37+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
109+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
208+阅读 · 2019年10月9日
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
42+阅读 · 2019年10月13日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
14+阅读 · 2018年11月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习族谱
CreateAMind
18+阅读 · 2017年8月2日
Arxiv
0+阅读 · 2021年5月12日
Arxiv
0+阅读 · 2021年5月4日
Generalization and Regularization in DQN
Arxiv
5+阅读 · 2019年1月30日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
相关VIP内容
专知会员服务
39+阅读 · 2021年4月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
86+阅读 · 2020年11月20日
最新《深度强化学习中的迁移学习》综述论文
专知会员服务
111+阅读 · 2020年9月20日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
72+阅读 · 2020年9月6日
《强化学习》简介小册,24页pdf
专知会员服务
211+阅读 · 2020年4月19日
深度强化学习策略梯度教程,53页ppt
专知会员服务
137+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
37+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
109+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
208+阅读 · 2019年10月9日
相关资讯
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
42+阅读 · 2019年10月13日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
23+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
RL 真经
CreateAMind
4+阅读 · 2018年12月28日
OpenAI丨深度强化学习关键论文列表
中国人工智能学会
14+阅读 · 2018年11月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习族谱
CreateAMind
18+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员