Low-rank Tucker and CP tensor decompositions are powerful tools in data analytics. The widely used alternating least squares (ALS) method, which solves a sequence of over-determined least squares subproblems, is costly for large and sparse tensors. We propose a fast and accurate sketched ALS algorithm for Tucker decomposition, which solves a sequence of sketched rank-constrained linear least squares subproblems. Theoretical sketch size upper bounds are provided to achieve $O(\epsilon)$ relative error for each subproblem with two sketching techniques, TensorSketch and leverage score sampling. Experimental results show that this new ALS algorithm, combined with a new initialization scheme based on randomized range finder, yields up to $22.0\%$ relative decomposition residual improvement compared to the state-of-the-art sketched randomized algorithm for Tucker decomposition of various synthetic and real datasets. This Tucker-ALS algorithm is further used to accelerate CP decomposition, by using randomized Tucker compression followed by CP decomposition of the Tucker core tensor. Experimental results show that this algorithm not only converges faster, but also yields more accurate CP decompositions.


翻译:低端塔克和CP 温度分解是数据分析的有力工具。 广泛使用的交替最小方块(ALS)方法(ALS)解决了一组定额最小方块的分问题,对于大和稀有的分解器来说成本很高。 我们为塔克分解提出了快速和准确的草图 ALS 算法,它解决了一组素描的按级排列的线性最小方块子子子子问题。 提供了理论草图大小的上界线线以达到美元( epsilon) 相对差错。 提供了这种塔克- ALS 算法, 以两种素描技术( TensorSketch 和 杠杆分数抽样) 来加速每种子问题中的CP解析。 实验结果表明, 新的ALS 算法, 加上一种基于随机测距的测距的测距法的新的初始化方法, 将产生22. 0 $ 相对的分解析剩余法, 与最先进的塔克分解算法相比, 各种合成和真实的数据集的分解。 这种塔克- 算法, 也进一步用于加速解剖,, 通过使用随机的测算方法, 而不是更精确的实验性测算法, 也显示了卡质变。

0
下载
关闭预览

相关内容

这是第25届年度会议,讨论有约束计算的所有方面,包括理论、算法、环境、语言、模型、系统和应用,如决策、资源分配、调度、配置和规划。为了纪念25周年,吉恩·弗洛伊德创作了一本“虚拟卷”来庆祝这个系列会议。信息可以在这里找到。约束编程协会有本系列中以前的会议列表。CP 2019计划将包括展示关于约束技术的高质量科学论文。除了通常的技术轨道外,CP 2019年会议还将有主题轨道。每个赛道都有一个专门的小组委员会,以确保有能力的评审员将审查这些领域的人提交的论文。 官网链接:https://cp2019.a4cp.org/index.html
【干货书】C++实战编程指南,附549页pdf与Slides
专知会员服务
82+阅读 · 2021年4月23日
专知会员服务
41+阅读 · 2021年4月2日
专知会员服务
52+阅读 · 2020年11月3日
已删除
将门创投
3+阅读 · 2019年9月4日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
实战 | 源码入门之Faster RCNN
计算机视觉life
19+阅读 · 2019年4月16日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Tensor Flow、Caffe、Torch共同之处:敞开的漏洞!
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年10月14日
Arxiv
9+阅读 · 2021年3月8日
VIP会员
相关资讯
已删除
将门创投
3+阅读 · 2019年9月4日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
实战 | 源码入门之Faster RCNN
计算机视觉life
19+阅读 · 2019年4月16日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Tensor Flow、Caffe、Torch共同之处:敞开的漏洞!
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员