This paper establishes oracle inequalities for the prediction risk of the empirical risk minimizer for large-dimensional linear regression. We generalize existing results by allowing the data to be dependent and heavy-tailed. The analysis covers both the cases of identically and heterogeneously distributed observations. Our analysis is nonparametric in the sense that the relationship between the regressand and the regressors is assumed to be unknown. The main results of this paper indicate that the empirical risk minimizer achieves the optimal performance (up to a logarithmic factor) in a dependent data setting.


翻译:本文为大维线性回归实验风险最小化的预测风险设定了甲骨文不平等。 我们通过允许数据依赖性和重尾化来概括现有结果。 分析涵盖了相同和不同分布的观测案例。 我们的分析是非对称的,因为假设回归和回归器之间的关系不明。 本文的主要结果表明,实验风险最小化者在依赖性数据设置中实现了最佳性能( 直至对数系数 )。

0
下载
关闭预览

相关内容

经验风险最小化(ERM)是统计学习理论中的一个原则,它定义了一系列学习算法,并用于给出其性能的理论界限。经验风险最小化的策略认为,经验风险最小的模型是最优的模型。根据这一策略,按照经验风险最小化求最优模型就是求解最优化问题。
专知会员服务
14+阅读 · 2021年5月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
82+阅读 · 2020年12月18日
专知会员服务
50+阅读 · 2020年12月14日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
已删除
将门创投
3+阅读 · 2019年4月19日
计算机 | CCF推荐会议信息10条
Call4Papers
5+阅读 · 2018年10月18日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年6月15日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
已删除
将门创投
3+阅读 · 2019年4月19日
计算机 | CCF推荐会议信息10条
Call4Papers
5+阅读 · 2018年10月18日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员