Suppose a matrix $A \in \mathbb{R}^{m \times n}$ of rank $k$ with singular value decomposition $A = U_{A}\Sigma_{A} V_{A}^{T}$, where $U_{A} \in \mathbb{R}^{m \times k}$, $V_{A} \in \mathbb{R}^{n \times k}$ are orthonormal and $\Sigma_{A} \in \mathbb{R}^{k \times k}$ is a diagonal matrix. The statistical leverage scores of a matrix $A$ are the squared row-norms defined by $\ell_{i} = \|(U_{A})_{i,:}\|_2^2$, where $i \in [m]$, and the matrix coherence is the largest statistical leverage score. These quantities play an important role in machine learning algorithms such as matrix completion and Nystr\"{o}m-based low rank matrix approximation as well as large-scale statistical data analysis applications. The best known classical algorithm to approximate these values runs in time $O((mn + n^3){\rm log}\,m)$ in [P. Drineas, M. Magdon-Ismail, M. W. Mahoney and D. P. Woodruff. Fast approximation of matrix coherence and statistical leverage. J. Mach. Learn. Res., (2012)13: 3475-3506]. In this work, inspired by recent development on dequantization techniques, we propose a fast novel classical algorithm for approximating the statistical leverage scores. Our novel algorithm has query and time complexity $O\left({\rm poly} \left(k, \kappa, \frac{1}{\epsilon}, \frac{1}{\delta}, {\rm log}(mn)\right) \right)$, where $\kappa$ is the condition number of $A$, and $\delta$ is the failure probability.


翻译:假设一个基质 $A\ $ mathb{R\\ m\ time} 美元是正数, 美元是正数 = mathb{ R\ m\ k} 美元是正数, 美元是正数 = = = = = = = = = = = = 美元, 美元是正数 = = = 美元 = = 美元 = = 美元 = = 美元 = = 美元 = = 美元 = = = 美元 = = = 美元 = = = 美元 = = = 美元 = = = = 美元 = = = = = = 美元 = = = = = = 美元 = = = = = = = = = = = = = = = = = = 数 = = = = = = = = = =

0
下载
关闭预览

相关内容

专知会员服务
76+阅读 · 2021年3月16日
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
28+阅读 · 2020年11月4日
Normalizing Flows入门(上)
AINLP
8+阅读 · 2020年8月1日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2018年10月18日
VIP会员
相关VIP内容
专知会员服务
76+阅读 · 2021年3月16日
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
28+阅读 · 2020年11月4日
相关资讯
Normalizing Flows入门(上)
AINLP
8+阅读 · 2020年8月1日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员