We study a family of sparse estimators defined as minimizers of some empirical Lipschitz loss function -- which include the hinge loss, the logistic loss and the quantile regression loss -- with a convex, sparse or group-sparse regularization. In particular, we consider the L1 norm on the coefficients, its sorted Slope version, and the Group L1-L2 extension. We propose a new theoretical framework that uses common assumptions in the literature to simultaneously derive new high-dimensional L2 estimation upper bounds for all three regularization schemes. %, and to improve over existing results. For L1 and Slope regularizations, our bounds scale as $(k^*/n) \log(p/k^*)$ -- $n\times p$ is the size of the design matrix and $k^*$ the dimension of the theoretical loss minimizer $\B{\beta}^*$ -- and match the optimal minimax rate achieved for the least-squares case. For Group L1-L2 regularization, our bounds scale as $(s^*/n) \log\left( G / s^* \right) + m^* / n$ -- $G$ is the total number of groups and $m^*$ the number of coefficients in the $s^*$ groups which contain $\B{\beta}^*$ -- and improve over the least-squares case. We show that, when the signal is strongly group-sparse, Group L1-L2 is superior to L1 and Slope. In addition, we adapt our approach to the sub-Gaussian linear regression framework and reach the optimal minimax rate for Lasso, and an improved rate for Group-Lasso. Finally, we release an accelerated proximal algorithm that computes the nine main convex estimators of interest when the number of variables is of the order of $100,000s$.


翻译:我们研究的是一组稀疏的测算器,这些测算器被定义为某些经验性Lipschitz损失函数的最小值,其中包括断层损失、后勤损失和量化回归损失 -- -- 包括链路损失、物流损失和量化回归损失 -- -- 其固定、稀疏或群体扭曲的正规化。特别是,我们考虑的是有关系数、其分类的Slope版本和集团L1-L2扩展的L1标准值。我们提议一个新的理论框架,利用文献中的共同假设,同时为所有三个正规化方案同时得出新的高维L2估算值上限。%,并改进现有结果。对于L1和Slopeople正规化,我们的界限尺度是$(k ⁇ /n)\log\log(p/k ⁇ )\log(美元)\log(p/k ⁇ )$(美元)的标定值比值标准大小。对于理论损失最小损失最小值的值值值值值值值值值来说,我们最优化的L1-L2常规值, 当我们最高级的基值的值值值值值值值值值值为x(xxxxxx)的基数时, 最高值的基值的基值的基数是比值的基值的基值的基值的基值的基值的基值的基值的基值的基值, 和基值的基值的基值的基值的基值========x的基值的基值比值比值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值的基值。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2020年12月18日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【ICLR2020】图神经网络与图像处理,微分方程,27页ppt
专知会员服务
47+阅读 · 2020年6月6日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
已删除
德先生
53+阅读 · 2019年4月28日
Implicit SVD for Graph Representation Learning
Arxiv
0+阅读 · 2021年11月11日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
4+阅读 · 2020年1月17日
VIP会员
相关资讯
已删除
德先生
53+阅读 · 2019年4月28日
Top
微信扫码咨询专知VIP会员