We study the robust recovery of a low-rank matrix from sparsely and grossly corrupted Gaussian measurements, with no prior knowledge on the intrinsic rank. We consider the robust matrix factorization approach. We employ a robust $\ell_1$ loss function and deal with the challenge of the unknown rank by using an overspecified factored representation of the matrix variable. We then solve the associated nonconvex nonsmooth problem using a subgradient method with diminishing stepsizes. We show that under a regularity condition on the sensing matrices and corruption, which we call restricted direction preserving property (RDPP), even with rank overspecified, the subgradient method converges to the exact low-rank solution at a sublinear rate. Moreover, our result is more general in the sense that it automatically speeds up to a linear rate once the factor rank matches the unknown rank. On the other hand, we show that the RDPP condition holds under generic settings, such as Gaussian measurements under independent or adversarial sparse corruptions, where the result could be of independent interest. Both the exact recovery and the convergence rate of the proposed subgradient method are numerically verified in the overspecified regime. Moreover, our experiment further shows that our particular design of diminishing stepsize effectively prevents overfitting for robust recovery under overparameterized models, such as robust matrix sensing and learning robust deep image prior. This regularization effect is worth further investigation.


翻译:我们研究从稀少和严重腐败的高斯测算中强有力地恢复低等级矩阵,对内在等级没有先入为主的知识。我们考虑稳健的矩阵因子化方法。我们采用强力的 $ ell_ 1$ 损耗功能,并通过使用一个超特定因子代号来应对未知等级的挑战。然后,我们用一个低等级方法,以逐步递减的方式,解决相关的非convex非世俗问题。我们显示,在感测矩阵和腐败的常规条件下,我们称之为限制方向,保护财产(RDPP),即使级别高于规定,次等级方法也与精确的低等级解决方案相交汇。此外,我们的结果更为普遍,即一旦因因因子代号相匹配而自动加速到直线性比率。另一方面,我们显示,RPPP的条件在一般环境之下,例如独立或对抗性稀薄的戈斯测算,其结果可能是独立的。 拟议的次级化方法的准确恢复价值和趋同率,以亚直线速率速化方法,以亚直线速化方法为基础,使我们的恢复率化后,在更精确的模型下进行。

0
下载
关闭预览

相关内容

【经典书】凸优化:算法与复杂度,130页pdf
专知会员服务
80+阅读 · 2021年11月16日
专知会员服务
41+阅读 · 2021年4月2日
专知会员服务
141+阅读 · 2021年3月17日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
202+阅读 · 2020年2月24日
已删除
将门创投
4+阅读 · 2018年6月1日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
1+阅读 · 2021年11月15日
Arxiv
0+阅读 · 2021年11月15日
Arxiv
0+阅读 · 2021年11月12日
Arxiv
3+阅读 · 2018年10月18日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2018年6月1日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员