The problem of finding the unique low dimensional decomposition of a given matrix has been a fundamental and recurrent problem in many areas. In this paper, we study the problem of seeking a unique decomposition of a low rank matrix $Y\in \mathbb{R}^{p\times n}$ that admits a sparse representation. Specifically, we consider $Y = A X\in \mathbb{R}^{p\times n}$ where the matrix $A\in \mathbb{R}^{p\times r}$ has full column rank, with $r < \min\{n,p\}$, and the matrix $X\in \mathbb{R}^{r\times n}$ is element-wise sparse. We prove that this sparse decomposition of $Y$ can be uniquely identified, up to some intrinsic signed permutation. Our approach relies on solving a nonconvex optimization problem constrained over the unit sphere. Our geometric analysis for the nonconvex optimization landscape shows that any {\em strict} local solution is close to the ground truth solution, and can be recovered by a simple data-driven initialization followed with any second order descent algorithm. At last, we corroborate these theoretical results with numerical experiments.


翻译:找到特定矩阵独特的低维分解问题一直是许多领域一个根本性和反复出现的问题。 在本文中, 我们研究的是寻找一种独特的分解问题, 低级矩阵 $Y\ in\ mathbb{R ⁇ p\timen} n} 美元, 允许代表量少。 具体地说, 我们考虑的是 $Y = A X\in \ mathbb{R ⁇ p\times n} 美元, 其中矩阵 $A\ in\ mathbb{R ⁇ p\time r} 问题, 这个问题在许多领域是一个根本性和反复出现的问题。 我们研究的是, 寻找一种独特的分解问题, 美元 = A X\ in a X = a X = A X = A X = A X = A X n_in = A X n mathb{R\ {R\\\ timems n} $ 。 我们的方法依赖于解决一个非convex 优化问题的方式。 我们对非convex press press press press press brationalendalismission exmalation exmessolvealation.

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2021年4月2日
专知会员服务
141+阅读 · 2021年3月17日
专知会员服务
42+阅读 · 2020年12月18日
专知会员服务
84+阅读 · 2020年12月5日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
经济学中的数据科学,Data Science in Economics,附22页pdf
专知会员服务
35+阅读 · 2020年4月1日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
8+阅读 · 2018年10月31日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
19+阅读 · 2015年8月3日
Arxiv
0+阅读 · 2021年10月12日
Arxiv
0+阅读 · 2021年10月11日
Arxiv
3+阅读 · 2018年10月18日
VIP会员
相关VIP内容
专知会员服务
41+阅读 · 2021年4月2日
专知会员服务
141+阅读 · 2021年3月17日
专知会员服务
42+阅读 · 2020年12月18日
专知会员服务
84+阅读 · 2020年12月5日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
经济学中的数据科学,Data Science in Economics,附22页pdf
专知会员服务
35+阅读 · 2020年4月1日
【新书】Python编程基础,669页pdf
专知会员服务
193+阅读 · 2019年10月10日
相关资讯
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
8+阅读 · 2018年10月31日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
自然语言处理 (三) 之 word embedding
DeepLearning中文论坛
19+阅读 · 2015年8月3日
Top
微信扫码咨询专知VIP会员