This paper presents an extension of the classical agnostic PAC learning model in which learning problems are modelled not only by a Hypothesis Space $\mathcal{H}$, but also by a Learning Space $\mathbb{L}(\mathcal{H})$, which is a cover of $\mathcal{H}$, constrained by a VC-dimension property, that is a suitable domain for Model Selection algorithms. Our main contribution is a data driven general learning algorithm to perform regularized Model Selection on $\mathbb{L}(\mathcal{H})$. A remarkable, formally proved, consequence of this approach are conditions on $\mathbb{L}(\mathcal{H})$ and on the loss function that lead to estimated out-of-sample error surfaces which are true U-curves on $\mathbb{L}(\mathcal{H})$ chains, enabling a more efficient search on $\mathbb{L}(\mathcal{H})$. To our knowledge, this is the first rigorous result asserting that a non exhaustive search of a family of candidate models can return an optimal solution. In this new framework, an U-curve optimization algorithm becomes a natural component of Model Selection, hence of learning algorithms. The abstract general framework proposed here may have important implications on modern learning models and on areas such as Neural Architecture Search.


翻译:本文展示了经典不可知的 PAC 学习模式的延伸, 其中学习问题不仅以假冒空间 $\ mathcal{H} $( mathcal{H}) $( mathbb{L}) $( mathcal{H}) $( mathcal{H}) $( ) 学习空间 $( mathbb{L} ) $ (\ mathcal{H} $) 建模模型选择模式。 一个引人注目的、 正式证明的, 这个方法的结果是学习空间 $\ mathbb{L} (\ mathcal{H} $( mindexple) 的 条件 。 以及一个损失功能, 导致对标本错误表面进行估算, 这是 $\ mathb{L} (\ mathcall} (mathcall{H} $ 链, 使得对 $\\ mathbb{L} (mathcalcal) {H} 进行更高效的搜索。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Hierarchical Width-Based Planning and Learning
Arxiv
0+阅读 · 2021年1月15日
Arxiv
7+阅读 · 2019年5月31日
Arxiv
4+阅读 · 2018年12月3日
Arxiv
3+阅读 · 2018年10月11日
Learning to Importance Sample in Primary Sample Space
Arxiv
8+阅读 · 2018年7月12日
Arxiv
3+阅读 · 2016年2月24日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Hierarchical Width-Based Planning and Learning
Arxiv
0+阅读 · 2021年1月15日
Arxiv
7+阅读 · 2019年5月31日
Arxiv
4+阅读 · 2018年12月3日
Arxiv
3+阅读 · 2018年10月11日
Learning to Importance Sample in Primary Sample Space
Arxiv
8+阅读 · 2018年7月12日
Arxiv
3+阅读 · 2016年2月24日
Top
微信扫码咨询专知VIP会员