We study the problem of estimating the trace of a matrix $A$ that can only be accessed through matrix-vector multiplication. We introduce a new randomized algorithm, Hutch++, which computes a $(1 \pm \epsilon)$ approximation to $tr(A)$ for any positive semidefinite (PSD) $A$ using just $O(1/\epsilon)$ matrix-vector products. This improves on the ubiquitous Hutchinson's estimator, which requires $O(1/\epsilon^2)$ matrix-vector products. Our approach is based on a simple technique for reducing the variance of Hutchinson's estimator using a low-rank approximation step, and is easy to implement and analyze. Moreover, we prove that, up to a logarithmic factor, the complexity of Hutch++ is optimal amongst all matrix-vector query algorithms, even when queries can be chosen adaptively. We show that it significantly outperforms Hutchinson's method in experiments. While our theory mainly requires $A$ to be positive semidefinite, we provide generalized guarantees for general square matrices, and show empirical gains in such applications.


翻译:我们研究的是估算一个只能通过矩阵矢量乘法获得的基质$A的痕迹的问题。 我们引入了一种新的随机算法, Hutch++, 对任何正半无限期(PSD) $A 产品来说, 对任何正半无限期(PSD) $ $ 美元来说, 计算一个( 1 /\ exsilon) 美元近似 $ $tr( A) 美元。 这改进了无处不在的哈钦森测算器, 它需要 $( 1/\ explon2) $ 矩阵矢量产品。 我们的方法基于一种简单的技术, 使用低层次的近似步骤来减少哈钦森测算器的差额, 并且容易执行和分析。 此外, 我们证明, 在一个对数系数上, 赫奇+ 的复杂程度在所有矩阵- 查询算法中是最佳的, 即使在查询可以适应性选择的时候, 。 我们显示它明显地超越了哈钦森在实验中采用的方法。 我们的理论要求以 $A 和 基本实验性 的模型中, 显示这种结果是肯定的。

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2021年4月2日
专知会员服务
76+阅读 · 2021年3月16日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
220+阅读 · 2020年6月5日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
学好机器学习,这里有你想要的一切
伯乐在线
3+阅读 · 2018年6月13日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年8月9日
Arxiv
0+阅读 · 2021年8月8日
Arxiv
0+阅读 · 2021年8月7日
Arxiv
0+阅读 · 2021年8月6日
Arxiv
3+阅读 · 2018年10月18日
Viewpoint Estimation-Insights & Model
Arxiv
3+阅读 · 2018年7月3日
VIP会员
相关资讯
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
学好机器学习,这里有你想要的一切
伯乐在线
3+阅读 · 2018年6月13日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
0+阅读 · 2021年8月9日
Arxiv
0+阅读 · 2021年8月8日
Arxiv
0+阅读 · 2021年8月7日
Arxiv
0+阅读 · 2021年8月6日
Arxiv
3+阅读 · 2018年10月18日
Viewpoint Estimation-Insights & Model
Arxiv
3+阅读 · 2018年7月3日
Top
微信扫码咨询专知VIP会员