Matrices arising in scientific applications frequently admit linear low-rank approximations due to smoothness in the physical and/or temporal domain of the problem. In large-scale problems, computing an optimal low-rank approximation can be prohibitively expensive. Matrix sketching addresses this by reducing the input matrix to a smaller, but representative matrix via a low-dimensional linear embedding. If the sketch matrix produced by the embedding captures sufficient geometric properties of the original matrix, then a near-optimal approximation may be obtained. Much of the work done in matrix sketching has centered on random projection. Alternatively, in this work, deterministic matrix sketches which generate coarse representations, compatible with the corresponding PDE solve, are considered in the computation of the singular value decomposition and matrix interpolative decomposition. The deterministic sketching approaches in this work have many advantages over randomized sketches. Broadly, randomized sketches are data-agnostic, whereas the proposed sketching methods exploit structures within data generated in complex PDE systems. These deterministic sketches are often faster, require access to a small fraction of the input matrix, and do not need to be explicitly constructed. A novel single-pass, i.e., requiring one read over the input, power iteration algorithm is also presented. The power iteration method is particularly effective in improving low-rank approximations when the singular value decay of data is slow. Finally, theoretical error bounds and estimates, as well as numerical results across three application problems, are provided.


翻译:科学应用中产生的矩阵往往会接受由于问题物理和/或时间领域的平稳而导致的线性低位近似值。 在大规模的问题中,计算一个最佳低位近似值可能极其昂贵。 矩阵草图通过低维线嵌入将输入矩阵降低到一个较小但有代表性的矩阵。 如果嵌入中生成的草图矩阵能够捕捉原始矩阵的足够几何特性,那么就可以获得近于最佳的近似近似值。 矩阵草图中完成的许多工作都集中在随机预测上。 或者,在这项工作中,在计算单值分解和矩阵间分解时,计算出一个符合相应的 PDE 解析的确定性矩阵草图可能非常昂贵。 在计算单值分解和矩阵间解析时,该工程中的确定性草图方法比随机的草图有很多优势。 广义的随机草图是数据,而拟议的草图方法则是利用复杂 PDE 系统内生成的数据结构。 这些确定性草图往往更快, 需要获得一个小部分的粗略表示, 与对应的粗略表达值的矩阵图, 并且需要一种精确的精确的数值, 最后的算方法是, 。

0
下载
关闭预览

相关内容

专知会员服务
41+阅读 · 2021年4月2日
专知会员服务
76+阅读 · 2021年3月16日
【MIT干货书】机器学习算法视角,126页pdf
专知会员服务
77+阅读 · 2021年1月25日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
LibRec 精选:你见过最有趣的论文标题是什么?
LibRec智能推荐
4+阅读 · 2019年11月6日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
12+阅读 · 2021年6月29日
Arxiv
0+阅读 · 2021年6月25日
Arxiv
5+阅读 · 2018年3月6日
VIP会员
相关VIP内容
专知会员服务
41+阅读 · 2021年4月2日
专知会员服务
76+阅读 · 2021年3月16日
【MIT干货书】机器学习算法视角,126页pdf
专知会员服务
77+阅读 · 2021年1月25日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
相关资讯
LibRec 精选:你见过最有趣的论文标题是什么?
LibRec智能推荐
4+阅读 · 2019年11月6日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员