The lasso is a popular method to induce shrinkage and sparsity in the solution vector (coefficients) of regression problems, particularly when there are many predictors relative to the number of observations. Solving the lasso in this high-dimensional setting can, however, be computationally demanding. Fortunately, this demand can be alleviated via the use of screening rules that discard predictors prior to fitting the model, leading to a reduced problem to be solved. In this paper, we present a new screening strategy: look-ahead screening. Our method uses safe screening rules to find a range of penalty values for which a given predictor cannot enter the model, thereby screening predictors along the remainder of the path. In experiments we show that these look-ahead screening rules outperform the active warm-start version of the Gap Safe rules.


翻译:长线条是一种常见的方法,可以诱发回归问题的解析矢量(系数)的缩缩和宽度,特别是当与观测数量相比有许多预测器时。然而,在这种高维环境中解决长线条可能是计算上的要求很高的。幸运的是,可以通过使用筛选规则来缓解这一需求,在安装模型之前弃置预测器,从而减少问题。在本文中,我们提出了一个新的筛选战略:目光筛检。我们的方法使用安全筛选规则来寻找一系列惩罚值,而某个预测器无法输入模型,从而沿这条路径的其余部分筛选预测器。我们在实验中显示,这些长线条比“差距安全”规则的热源版本要强。

0
下载
关闭预览

相关内容

专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
50+阅读 · 2020年12月14日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【机器学习】一文读懂线性回归、岭回归和Lasso回归
人工智能头条
6+阅读 · 2019年10月22日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
数据分析师应该知道的16种回归技术:Lasso回归
数萃大数据
16+阅读 · 2018年8月13日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Arxiv
0+阅读 · 2021年8月31日
Bayesian learning of forest and tree graphical models
VIP会员
相关资讯
【机器学习】一文读懂线性回归、岭回归和Lasso回归
人工智能头条
6+阅读 · 2019年10月22日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
数据分析师应该知道的16种回归技术:Lasso回归
数萃大数据
16+阅读 · 2018年8月13日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Top
微信扫码咨询专知VIP会员