We study high-dimensional least-squares regression within a subgaussian statistical learning framework with heterogeneous noise. It includes $s$-sparse and $r$-low-rank least-squares regression when a fraction $\epsilon$ of the labels are adversarially contaminated. We also present a novel theory of trace-regression with matrix decomposition based on a new application of the product process. For these problems, we show novel near-optimal "subgaussian" estimation rates of the form $r(n,d_{e})+\sqrt{\log(1/\delta)/n}+\epsilon\log(1/\epsilon)$, valid with probability at least $1-\delta$. Here, $r(n,d_{e})$ is the optimal uncontaminated rate as a function of the effective dimension $d_{e}$ but independent of the failure probability $\delta$. These rates are valid uniformly on $\delta$, i.e., the estimators' tuning do not depend on $\delta$. Lastly, we consider noisy robust matrix completion with non-uniform sampling. If only the low-rank matrix is of interest, we present a novel near-optimal rate that is independent of the corruption level $a$. Our estimators are tractable and based on a new "sorted" Huber-type loss. No information on $(s,r,\epsilon,a,\delta)$ are needed to tune these estimators. Our analysis makes use of novel $\delta$-optimal concentration inequalities for the multiplier and product processes which could be useful elsewhere. For instance, they imply novel sharp oracle inequalities for Lasso and Slope with optimal dependence on $\delta$. Numerical simulations confirm our theoretical predictions. In particular, "sorted" Huber regression can outperform classical Huber regression.


翻译:我们用混杂的噪音在下加盟的统计学习框架内研究高维最低方位回归。 它包括美元- 粗和美元- 低端最低方位的回归, 当标签的分数 $\ epsilon 被对抗性污染时, 我们提出了一个新颖的追踪回退理论, 其矩阵分解基于产品流程的新应用。 对于这些问题, 我们展示了一种新型的“ 超高” 估算率。 对于 $( n, d ⁇ e} ) 的形式来说, 接近最佳的“ subgaussilian ” 估算率 。 ⁇ sqqral log (1/ delta) / n ⁇ slickralslocklon\ log( 1/\ eepsilon) 美元, 概率至少为 1\\\ deltalotal$。 美元 美元 美元- 美元- 美元- 美元- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 表示- 货币- 货币- 货币- 货币- 货币- 表示- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 或货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币- 货币-

0
下载
关闭预览

相关内容

剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
专知会员服务
42+阅读 · 2020年12月18日
专知会员服务
50+阅读 · 2020年12月14日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
将门创投
8+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年6月14日
Arxiv
3+阅读 · 2018年10月18日
VIP会员
相关VIP内容
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
已删除
将门创投
8+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员