受物理启发的深度学习，这是当前AI for Science的「时尚」研究

2022 年 4 月 12 日 机器之心

在过去的一年里，AI x Science 称得上是最受关注的领域之一。此前，凭借深度学习技术的加持，来自 DeepMind 公司的 AlphaFold2 极大提高了蛋白质结构的预测精度，这项突破展现出了 AI 在科学领域解决问题的巨大潜力。

人工智能技术为科学领域带来了系统性机会。生物学之外，在物理、化学、材料、地质等多领域，以深度学习为代表的 AI 与科学计算结合形成了新的计算方法。

为更好地促进学术交流，尤其是交叉学科和前沿工作的同行交流，机器之心与中科院自动化所将联合举办技术论坛系列，尝试在更轻松和开放的交流氛围下，邀请研究者分享近期工作，讨论热点问题。

4月13日10:00 - 12:00，「机器之心 x 中科院自动化所技术论坛」第一期在线上举办，以「受物理启发的深度学习」为主题，特邀清华大学智能产业研究院（AIR）助理教授黄文炳主持，多位领域专家做技术分享，聚焦受物理启发的深度学习，核心受众为机器学习领域硕博研究生。

特邀主持人介绍

黄文炳：清华大学智能产业研究院（AIR）助理教授，博士毕业于清华大学计算机系；主要研究兴趣为图神经网络与图模型理论方法及其在物理系统的表示与决策、智能化学药物发现等任务上的应用；在 NeurIPS，CVPR 等 CCF-A 类国际会议或期刊发表论文30多篇；入选清华大学「水木学者」、腾讯「犀牛鸟访问学者」、微软亚研院「铸星计划」等；曾获国际会议 IROS 机器人比赛冠军、腾讯犀牛鸟专项研究卓越奖、NeurIPS Outstanding Reviewer、AAAI 顶级 SPC 等奖项。

特邀嘉宾与主题介绍

分享主题：张量网络与非监督学习

嘉宾简介：张潘，中科院理论物理研究所研究员、博士生导师；主要研究方向为统计物理、机器学习与量子计算的交叉领域，提出了基于张量网络的非监督机器学习模型、基于神经网络的统计力学方法以及量子计算机的经典模拟新方法；在Physical Review X, Physical Review Letters, PNAS和NeurIPS等期刊与会议上发表论文数十篇。

分享背景：非监督机器学习需要表述数据变量的联合分布概率，在离散变量下其表示空间维度随着变量数目增加指数增长。在量子物理和统计物理中发展出的张量网络方法善于使用低秩结构刻画指数大的线性空间中向量的特征，因此具有在非监督学习任务中得到应用的潜力。

分享摘要：张量网络在物理中一般用来描述高维度的量子态。很自然地，在机器学习中也可以用来描述离散数据变量的联合概率分布。张潘将介绍基于矩阵乘积态和树状张量网络的生成模型，然后讨论如何利用张量网络理解玻尔兹曼机的表述能力，最后将介绍结合自回归模型与张量网络的生成模型。

相关论文：

Zhao-Yu Han, Jun Wang, Heng Fan, Lei Wang, and Pan Zhang. Unsupervised Generative Modeling Using Matrix Product States. Phys. Rev. X 8, 031012,2018.
https://journals.aps.org/prx/abstract/10.1103/PhysRevX.8.031012
Sujie Li, Feng Pan, Pengfei Zhou, and Pan Zhang. Boltzmann machines as two-dimensional tensor networks. Phys. Rev. B 104, 075154.2021.
https://journals.aps.org/prb/abstract/10.1103/PhysRevB.104.075154

分享主题：人工神经网络中的统计物理原理

嘉宾简介：王闯，中国科学院自动化所副研究员、硕士研究生导师；2015年博士毕业于中科院理论物理研究所，2015-19年在哈佛大学做博士后研究，2019年秋入职中科院自动化研究所；主要研究方向为深度学习的基础理论，图像的特征表示学习等。在NeurIPS, Phys. Rev. B, JSTAT等机器学习和统计物理领域的会议和期刊上发表数十篇论文。

分享背景：以深度学习为基础的人工神经网络模型在近些年有着快速的发展，现已广泛应用于图像、语音、自然语言处理等领域，但人们对其内部的基础数学机理还缺乏透彻的理解。回顾历史，统计物理用于研究机器学习，尤其是以神经网络为代表的研究方向，已经将近四十年。从早起的 Hopfield 联想记忆网络、玻尔兹曼机，到2021年诺贝尔物理学奖获得者 G.Parisi 及其合作者发展的副本、空腔方法都极其影响着学者对人工神经网络机理的理解。现如今以统计物理为基础结合高维统计的典型性能分析方法，在概率图模型、团簇划分、深度学习等机器学习的原理、训练收敛性和泛化误差界方面有着快速的发展，也推动了人们理解深度神经网络模型的内部原理。

分享摘要：深度模型训练是一个高度非凸的优化问题，是一个伴随着这上百万个神经元权重之间的相互影响、演化的过程。这一过程可类比大量物理分子的相互作用过程。我们基于非平衡统计物理的随机微分建模和随机矩阵方法，研究了独立成分分析、生成对抗模型、随机图匹配图网络等算法的收敛过程和优化方法。

相关论文：

H. R. Tan, C. Wang, S. T. Wu, T. Q. Wang, X. Y. Zhang, C. L. Liu, Proxy Graph Matching with Proximal Matching Networks. AAAI,2021
https://ojs.aaai.org/index.php/AAAI/article/view/17179
C. Wang, H. Hu, Y. M. Lu., A Solvable High-Dimensional Model of GAN. NeurIPS ,2019
https://proceedings.neurips.cc/paper/2019/hash/6b3c49bdba5be0d322334e30c459f8bd-Abstract.html
C. Wang, Y. C. Eldar, Y. M. Lu, Subspace Estimation From Incomplete Observations: A High-Dimensional Analysis, IEEE Journal of Selected Topics in Signal Processing, vol. 12, no. 6, pp. 1240-1252, Dec. 2018
https://ieeexplore.ieee.org/abstract/document/8502097

分享主题：利用深度动态模型中的对称性来提高模型泛化性能

嘉宾简介：虞琦（Rose Yu），加州大学圣地亚哥分校计算机科学与工程系助理教授；致力于推进用于大规模时空数据分析的机器学习技术，并将其应用于可持续发展、健康和物理学领域；重点研究物理知识指导下的人工智能（physics-guided AI），旨在将第一性原理与数据驱动模型相结合；曾获摩根大通、Facebook、谷歌、亚马逊和 Adobe 颁发的 Faculty Research Award，多个最佳论文奖，并被提名为「麻省理工学院 EECS 新星」之一。

分享背景：动态系统建模在流体动力学、流行病学、经济学和神经科学等很多领域中至关重要。然而，许多动态系统由非线性微分方程组构成，难以进行数值模拟。因此，对其进行准确的数值计算需要手工调试，并且需要较长的计算时间。最近有很多工作使用深度学习来加速求解微分方程，但现有方法难以泛化，其根本原因是物理数据没有可供参考的数据规范与标准框架。例如，我们不清楚如何旋转流体流动的样本以使其方向保持一致。因此，现实世界中位于分布以外的测试数据很难与训练数据对齐。

分享摘要：当前用于时空预测的深度学习模型难以泛化。它们只适用于特定领域，在参数、外力或边界条件不同的系统中进行预测就会失效。本次演讲中，我将讨论如何利用对称性作为归纳偏好（inductive bias）来提升深度动态模型的泛化性能。我还将展示这些模型在预测湍流和真实海洋数据等具有挑战性的任务中的应用。

相关连接：

Wang, R., Walters, R., & Yu, R. Incorporating Symmetry into Deep Dynamics Models for Improved Generalization. In International Conference on Learning Representations (ICLR) 2021
https://openreview.net/pdf?id=wta_8Hx2KD
Wang, R., Walters, R., & Yu, R. . Meta-Learning Dynamics Forecasting Using Task Inference. arXiv preprint arXiv:2102.10271. 2021
https://arxiv.org/pdf/2102.10271.pdf
Dehmamy, N., Walters, R., Liu, Y., Wang, D., & Yu, R. (2021). Automatic Symmetry Discovery with Lie Algebra Convolutional Network. Advances in Neural Information Processing Systems (NeurIPS), 2021
https://proceedings.neurips.cc/paper/2021/file/148148d62be67e0916a833931bd32b26-Paper.pdf

分享主题：受物理启发的机器学习

嘉宾简介：陆路（Lu Lu），现任宾夕法尼亚大学化学和生物分子工程系助理教授，同时在该校计算科学研究所和应用数学与计算科学研究生组任职；2020年至2021年在 MIT 数学系担任应用数学讲师。陆路具有交叉学科的背景研究，包括应用数学、物理、计算生物学和计算机科学；目前的研究聚焦科学机器学习（scientific machine learning），包括理论、算法和软件及其在工程、物理和生物问题中的应用；2020年获得布朗大学应用数学博士学位，布朗大学工程、应用数学和计算机科学硕士学位，2013年本科毕业于清华大学（热能和经济学双学位、计算机辅修）。

分享背景：尽管传统的数值方法在求解偏微分方程（PDE）上已经取得了很大进展，但目前仍然存在一些局限，比如无法将额外的数据信息无缝地融合到数值算法中、复杂网格仍然难以方便地生成、难以求解高维的PDE。此外，对于 PDE 反问题的求解，算法实现复杂，计算量大，精度也有待提高。机器学习是一种很有前景的替代方法，但是深度神经网络的训练往往需要大量数据；而在很多科学问题中，数据却难以获得。我们可以将物理知识（比如物理定律、PDE或者简化的数学模型）嵌入神经网络，从而设计出更好的机器学习模型。这些模型可以自动满足一些物理不变量，可以被更快地训练，达到更好的准确性。

分享摘要：本次演讲中，我将回顾将物理学知识嵌入机器学习的一些流行趋势，介绍一些常用方法，包括受物理启发的神经网络（physics-informed neural network，PINN）、多保真度神经网络（multi-fidelity neural network，MFNN）和深度算子网络（deep operator network，DeepONet）。我还将讨论受物理启发的学习算法在正向和逆向多物理场问题和多尺度问题中的一些应用。

相关链接：

G. E. Karniadakis, I. G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, & L. Yang. Physics-informed machine learning. Nature Reviews Physics, 3(6), 422–440, 2021.
https://doi.org/10.1038/s42254-021-00314-5
L. Lu, P. Jin, G. Pang, Z. Zhang, & G. E. Karniadakis. Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature Machine Intelligence, 3, 218–229, 2021. https://doi.org/10.1038/s42256-021-00302-5
L. Lu, X. Meng, Z. Mao, & G. E. Karniadakis. DeepXDE: A deep learning library for solving differential equations. SIAM Review, 63(1), 208–228, 2021. https://doi.org/10.1137/19M1274067
L. Lu, M. Dao, P. Kumar, U. Ramamurty, G. E. Karniadakis, & S. Suresh. Extraction of mechanical properties of materials through deep learning from instrumented indentation. Proceedings of the National Academy of Sciences, 117(13), 7052–7062, 2020.
https://doi.org/10.1073/pnas.1922210117
DeepXDE: https://deepxde.readthedocs.io