We study the theoretical properties of the fused lasso procedure originally proposed by \cite{tibshirani2005sparsity} in the context of a linear regression model in which the regression coefficient are totally ordered and assumed to be sparse and piecewise constant. Despite its popularity, to the best of our knowledge, estimation error bounds in high-dimensional settings have only been obtained for the simple case in which the design matrix is the identity matrix. We formulate a novel restricted isometry condition on the design matrix that is tailored to the fused lasso estimator and derive estimation bounds for both the constrained version of the fused lasso assuming dense coefficients and for its penalised version. We observe that the estimation error can be dominated by either the lasso or the fused lasso rate, depending on whether the number of non-zero coefficient is larger than the number of piece-wise constant segments. Finally, we devise a post-processing procedure to recover the piecewise-constant pattern of the coefficients. Extensive numerical experiments support our theoretical findings.


翻译:我们研究了由\cite{tibshirani2005sparity} 最初在线性回归模型中提议的引信拉索程序的理论属性,该模型完全订购回归系数,并假定其稀疏和片状不变。尽管它很受欢迎,但据我们所知,仅在设计矩阵为身份矩阵的简单案例中,才获得高维设置的估计误差界限。我们在设计矩阵为特性矩阵的设计矩阵中设计了一个新的限制性参数。我们在设计矩阵上设计了一个新的限制性条件,该设计矩阵是专门为引信拉索测算器定制的,并且为假设密集系数的引信拉索的受限版本及其惩罚版本得出了估计界限。我们观察到,估计错误可以由拉索或引信拉索率来控制,取决于非零系数是否大于片状恒定的段数。最后,我们设计了一个后处理程序,以恢复系数的细调模式。广泛的数字实验支持我们的理论结论。

0
下载
关闭预览

相关内容

【干货书】机器人元素Elements of Robotics ,311页pdf
专知会员服务
34+阅读 · 2021年4月16日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
234+阅读 · 2020年4月29日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
87+阅读 · 2019年10月21日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
【泡泡点云时空-PCL源码解读】PCL中的点云配准方法
泡泡机器人SLAM
69+阅读 · 2019年6月16日
【泡泡点云时空-PCL源码解读】ICP点云精配准算法
泡泡机器人SLAM
178+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Arxiv
0+阅读 · 2021年12月28日
Arxiv
4+阅读 · 2018年3月14日
Arxiv
3+阅读 · 2018年2月12日
VIP会员
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
【泡泡点云时空-PCL源码解读】PCL中的点云配准方法
泡泡机器人SLAM
69+阅读 · 2019年6月16日
【泡泡点云时空-PCL源码解读】ICP点云精配准算法
泡泡机器人SLAM
178+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Top
微信扫码咨询专知VIP会员