This paper deals with the grouped variable selection problem. A widely used strategy is to equip the loss function with a sparsity-promoting penalty. Existing methods include the group Lasso, group SCAD, and group MCP. The group Lasso solves a convex optimization problem but is plagued by underestimation bias. The group SCAD and group MCP avoid the estimation bias but require solving a non-convex optimization problem that suffers from local optima. In this work, we propose an alternative method based on the generalized minimax concave (GMC) penalty, which is a folded concave penalty that can maintain the convexity of the objective function. We develop a new method for grouped variable selection in linear regression, the group GMC, that generalizes the strategy of the original GMC estimator. We present an efficient algorithm for computing the group GMC estimator. We also prove properties of the solution path to guide its numerical computation and tuning parameter selection in practice. We establish error bounds for both the group GMC and original GMC estimators. A rich set of simulation studies and a real data application indicate that the proposed group GMC approach outperforms existing methods in several different aspects under a wide array of scenarios.


翻译:本文涉及分组变量选择问题 。 广泛使用的战略是给损失函数配备宽度促进处罚。 现有方法包括 Lasso 组、 SCAD 组和 MCP 组。 Lasso 组解决了二次优化问题,但受到低估偏差的困扰。 SCAD 组和 MCP 组避免了估算偏差, 却需要解决一个受本地opima 影响的非碳化优化问题 。 在这项工作中, 我们提议了一个基于通用迷你方块( GMC) 处罚的替代方法, 这是一种折叠式组合式组合组合惩罚, 能够维持目标函数的共性。 我们为线性回归中的组合变量选择制定了新方法, 组 GMC 组制定了新的方法, 该方法概括了原GMC 估测器的战略。 我们提出了计算组 GMC 估测器的计算方法的有效算法。 我们还证明了解决方案路径的特性, 以指导其数值计算和调整参数选择实践中的参数。 我们为 GMC 组和 原 GMC 估测算器设定了错误界限。 在 GMC 组 中, 多个模拟模型中, 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组 组

0
下载
关闭预览

相关内容

Group一直是研究计算机支持的合作工作、人机交互、计算机支持的协作学习和社会技术研究的主要场所。该会议将社会科学、计算机科学、工程、设计、价值观以及其他与小组工作相关的多个不同主题的工作结合起来,并进行了广泛的概念化。官网链接:https://group.acm.org/conferences/group20/
【经典书】线性代数,Linear Algebra,525页pdf
专知会员服务
72+阅读 · 2021年1月29日
多标签学习的新趋势(2020 Survey)
专知会员服务
40+阅读 · 2020年12月6日
【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
最新《自动微分手册》77页pdf
专知会员服务
95+阅读 · 2020年6月6日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
【新书】Python编程基础,669页pdf
专知会员服务
186+阅读 · 2019年10月10日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
已删除
将门创投
5+阅读 · 2017年11月22日
Arxiv
0+阅读 · 2022年2月1日
Arxiv
0+阅读 · 2022年1月31日
VIP会员
相关资讯
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
已删除
将门创投
5+阅读 · 2017年11月22日
Top
微信扫码咨询专知VIP会员