We consider the problem of recovering a $k$-sparse signal ${\mbox{$\beta$}}_0\in\mathbb{R}^p$ from noisy observations $\bf y={\bf X}\mbox{$\beta$}_0+{\bf w}\in\mathbb{R}^n$. One of the most popular approaches is the $l_1$-regularized least squares, also known as LASSO. We analyze the mean square error of LASSO in the case of random designs in which each row of ${\bf X}$ is drawn from distribution $N(0,{\mbox{$\Sigma$}})$ with general ${\mbox{$\Sigma$}}$. We first derive the asymptotic risk of LASSO in the limit of $n,p\rightarrow\infty$ with $n/p\rightarrow\delta$. We then examine conditions on $n$, $p$, and $k$ for LASSO to exactly reconstruct ${\mbox{$\beta$}}_0$ in the noiseless case ${\bf w}=0$. A phase boundary $\delta_c=\delta(\epsilon)$ is precisely established in the phase space defined by $0\le\delta,\epsilon\le 1$, where $\epsilon=k/p$. Above this boundary, LASSO perfectly recovers ${\mbox{$\beta$}}_0$ with high probability. Below this boundary, LASSO fails to recover $\mbox{$\beta$}_0$ with high probability. While the values of the non-zero elements of ${\mbox{$\beta$}}_0$ do not have any effect on the phase transition curve, our analysis shows that $\delta_c$ does depend on the signed pattern of the nonzero values of $\mbox{$\beta$}_0$ for general ${\mbox{$\Sigma$}}\ne{\bf I}_p$. This is in sharp contrast to the previous phase transition results derived in i.i.d. case with $\mbox{$\Sigma$}={\bf I}_p$ where $\delta_c$ is completely determined by $\epsilon$ regardless of the distribution of $\mbox{$\beta$}_0$. Underlying our formalism is a recently developed efficient algorithm called approximate message passing (AMP) algorithm. We generalize the state evolution of AMP from i.i.d. case to general case with ${\mbox{$\Sigma$}}\ne{\bf I}_p$. Extensive computational experiments confirm that our theoretical predictions are consistent with simulation results on moderate size system.


翻译:我们考虑的是从噪音观测中回收美元=美元=美元=美元=美元=美元=美元=美元=美元=美元=美元=美元=美元=美元=美元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=美元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=元=ASSSO=

0
下载
关闭预览

相关内容

应用机器学习书稿,361页pdf
专知会员服务
58+阅读 · 2020年11月24日
【斯坦福经典书】统计学稀疏性:Lasso与泛化性,362页pdf
专知会员服务
35+阅读 · 2020年11月15日
《常微分方程》笔记,419页pdf
专知会员服务
71+阅读 · 2020年8月2日
【经典书】Python金融大数据分析,566页pdf
专知会员服务
122+阅读 · 2020年8月1日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
77+阅读 · 2020年2月3日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
《科学》(20190517出版)一周论文导读
科学网
5+阅读 · 2019年5月19日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
【干货】理解深度学习中的矩阵运算
机器学习研究会
18+阅读 · 2018年2月12日
基于混合张量分解提升扩张卷积网络
论智
11+阅读 · 2018年2月11日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年5月24日
Arxiv
0+阅读 · 2021年5月24日
Arxiv
0+阅读 · 2021年5月20日
Arxiv
0+阅读 · 2021年5月20日
VIP会员
相关VIP内容
应用机器学习书稿,361页pdf
专知会员服务
58+阅读 · 2020年11月24日
【斯坦福经典书】统计学稀疏性:Lasso与泛化性,362页pdf
专知会员服务
35+阅读 · 2020年11月15日
《常微分方程》笔记,419页pdf
专知会员服务
71+阅读 · 2020年8月2日
【经典书】Python金融大数据分析,566页pdf
专知会员服务
122+阅读 · 2020年8月1日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
77+阅读 · 2020年2月3日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
《科学》(20190517出版)一周论文导读
科学网
5+阅读 · 2019年5月19日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
【干货】理解深度学习中的矩阵运算
机器学习研究会
18+阅读 · 2018年2月12日
基于混合张量分解提升扩张卷积网络
论智
11+阅读 · 2018年2月11日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员