进展 | 张量网络的微分编程

2019 年 9 月 22 日 中科院物理所


张量网络方法经过多年的发展已经成为经典统计、量子多体物理等领域重要的理论和计算工具。近年来,张量网络方法也被应用于机器学习问题中。然而,针对张量网络的优化仍是一个长期存在的难点。这个瓶颈阻碍了张量网络方法在一系列复杂问题中的充分应用。


最近中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与计算重点实验室的廖海军副研究员、刘金国博士、王磊副研究员和向涛研究员合作,将机器学习中发展的“自动微分”技术引入到张量网络优化领域中,从而克服了这一障碍。借助机器学习领域发展的微分编程工具,自动微分可以直接而准确地计算变分能量对于张量参数的梯度。结合基于梯度的张量网络优化方法,可以更准确和有效地获得量子多体基态波函数的张量网络表示。基于这些进展,作者得到了二维正方晶格量子海森堡模型最低的变分结果(如附图所示),并进一步研究了更复杂的量子磁性问题。

图一 (a)不同方法计算二维自旋1/2反铁磁海森堡模型基态能量的相对误差的比较;(b) 不同方法计算交错磁化强度的比较。

      

这项进展为张量网络方法更广泛地应用于物理和机器学习问题扫清了一个障碍。该研究结果近日发表在物理评论X(Phys.Rev.X)上。论文链接https://journals.aps.org/prx/abstract/10.1103/PhysRevX.9.031041


可在https://github.com/wangleiphy/tensorgrad获得开源的程序实现。上述工作得到了国家重点研发计划(2016YFA0302400、2017YFA0302 901),国家自然科学基金委(11888101, 11774398)和中国科学院先导专项(XDB28000000)的支持。


编辑:zyi


近期热门文章Top10

↓ 点击标题即可查看 ↓

1.  猫趴在地上可以有多扁,看到最后快被萌死了
2.  研究完《长安十二时辰》的望楼系统,我魔怔了
3.  最美的公式:你也能懂的麦克斯韦方程组
4.  世纪未解之谜:自行车是怎么保持平衡的?
5.  如果地球“叮”的一下不转了,世界会变成什么样子?
6.  古装剧里鲜艳的衣服科学吗?他用30年证明我们错怪导演了
7.  真人版杀人游戏:50人仅1人生还 | 死亡,是人性的终极拷问
8.  时间从未流逝?物理学家:“过去”与“未来”可能只是错觉
9.  地球其实是外星人的鱼缸?不信你看这些海洋生物的长相
10.  据说,这是每一个科研狗的真实经历……

点此查看以往全部热门文章


登录查看更多
6

相关内容

在数学和计算机代数中,自动微分有时称作演算式微分,是一种可以借由计算机程序计算一个函数导数的方法。两种传统做微分的方法为:(1)对一个函数的表示式做符号上的微分,并且计算其在某一点上的值。(2)使用差分。使用符号微分最主要的缺点是速度慢及将计算机程序转换成表示式的困难。此外,很多函数在要计算更高阶微分时会变得复杂。 使用差分的两个重要的缺点是舍弃误差及数值化过程和相消误差。此两者传统方法在计算更高阶微分时,都有复杂度及误差增加的问题。自动微分则解决上述的问题。
最新《动态网络嵌入》综述论文,25页pdf
专知会员服务
136+阅读 · 2020年6月17日
从HPO到NAS: 自动深度学习
专知会员服务
37+阅读 · 2020年6月15日
《深度学习》圣经花书的数学推导、原理与Python代码实现
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
110+阅读 · 2019年11月25日
万字长文带你看尽深度学习中的各种卷积网络
AI科技评论
11+阅读 · 2019年2月19日
干货:复杂网络及其应用简介
数据猿
25+阅读 · 2018年12月21日
博客 | MIT—线性代数(上)
AI研习社
9+阅读 · 2018年12月18日
从张量到自动微分:PyTorch入门教程
论智
9+阅读 · 2018年10月10日
一文读懂PyTorch张量基础(附代码)
数据派THU
6+阅读 · 2018年6月12日
Yann LeCun:深度学习已死,可微分编程万岁!
图解高等数学|线性代数
遇见数学
39+阅读 · 2017年10月18日
如何用 3 个月零基础入门机器学习?
AI研习社
6+阅读 · 2017年9月27日
【基础数学】- 01
遇见数学
19+阅读 · 2017年7月25日
已删除
Arxiv
32+阅读 · 2020年3月23日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
Arxiv
6+阅读 · 2018年11月29日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
8+阅读 · 2018年5月21日
VIP会员
相关资讯
万字长文带你看尽深度学习中的各种卷积网络
AI科技评论
11+阅读 · 2019年2月19日
干货:复杂网络及其应用简介
数据猿
25+阅读 · 2018年12月21日
博客 | MIT—线性代数(上)
AI研习社
9+阅读 · 2018年12月18日
从张量到自动微分:PyTorch入门教程
论智
9+阅读 · 2018年10月10日
一文读懂PyTorch张量基础(附代码)
数据派THU
6+阅读 · 2018年6月12日
Yann LeCun:深度学习已死,可微分编程万岁!
图解高等数学|线性代数
遇见数学
39+阅读 · 2017年10月18日
如何用 3 个月零基础入门机器学习?
AI研习社
6+阅读 · 2017年9月27日
【基础数学】- 01
遇见数学
19+阅读 · 2017年7月25日
相关论文
已删除
Arxiv
32+阅读 · 2020年3月23日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
Arxiv
6+阅读 · 2018年11月29日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
8+阅读 · 2018年5月21日
Top
微信扫码咨询专知VIP会员