深度学习如何解决数学方程？四川大学最新《深度神经网络偏微分方程》综述，19页pdf阐述如何用DNN有效地解决PDE

本研究旨在对深度神经网络(DNNs)用于PDE的研究进展进行分类和综述。我们讨论了过去几十年在这个子领域发表的文献

通过数学建模，许多科学和工程问题都可以用一组偏微分方程来表示。长期以来，基于机制的PDE计算一直是计算流体动力学、多物理模拟、分子动力学甚至动力系统等研究课题的基本范式。它是一个充满活力的多学科领域，越来越重要，具有非凡的潜力。同时，有效地解决偏微分方程一直是一个长期的挑战。一般来说，除了少数可以直接得到解析解的微分方程外，更多的方程必须依靠有限差分法、有限元法、有限体积法、边界元法等数值方法来近似求解。这些数值方法通常将一个连续的问题域划分为离散的点，然后集中求解每一个点上的系统。虽然这些传统的数值方法是有效的，但每向前一步都伴随着大量的迭代运算，大大降低了效率。最近，另一个同样重要的范式——以深度学习为代表的基于数据的计算，作为求解偏微分方程的有效手段出现了。令人惊讶的是，这一有趣的子领域仍然缺乏全面的综述。本研究旨在对深度神经网络(DNNs)用于PDE的研究进展进行分类和综述。我们讨论了过去几十年在这个子领域发表的文献，并以一个共同的分类法进行了介绍，然后概述和分类了这些相关方法在科学研究和工程场景中的应用。介绍了该分支领域的起源、发展历史、特点、分类以及各潜在方向的发展趋势。

https://arxiv.org/abs/2211.05567

1. 概述

作为一种广泛应用和迅速发展的技术，深度学习(DL)[1]为现代社会的许多方面提供了动力，并极大地提高了数据挖掘、计算机视觉、自然语言处理等方面的先进水平。DL旨在通过训练由多个处理层组成的计算模型来发现/拟合数据中的复杂结构，以学习具有多层抽象的数据表示。除了传统的人工智能(AI)和机器学习(ML)任务(例如，语音识别，目标检测等)，最近的发展和趋势是探索多个学科的交叉，包括应用数学，科学计算，动力系统等[2]，[3]。

在过去漫长的发展中，科研工作中的科学计算通常面向机制明确的问题，如基于不同物理模型[4]的模拟和预测。随着时间的推移，这种方法逐渐发展出一种完善的处理模式:利用微分方程(DEs)等工具对机构进行描述性和有效的数学建模，并应用高效算法求解。这样就可以在不依赖数据或只依靠少量数据的情况下得到准确的结果。相反，基于数据的AI计算可以在不知道其内在机制的情况下获得近似解。因此，在这个数据和计算能力爆炸的时代，它通过提供足够的数据和有效的特征来训练大量面向特征的模型，如机器学习(ML)[6]中的人工神经网络(ANN)，变得越来越有价值。

随着计算设施的快速发展和实现的不断优化，人工智能方法，特别是深度神经网络(DNNs)被考虑对科学计算[2]、[7]进行升级。同时，基于机制的预训练模型构建有望减少大量工作量，提高学习性能[8]。DL与科学计算的交叉丰富了目标问题的建模和求解形式，明显地促进了这两个领域的相互强化。因此，有分析认为，这种融合的趋势将促进“AI for Science (AI4Science)[9]，[10]”的跨学科新领域的出现。

1.1 偏微分方程及其解决方案

在科学计算中，微分方程被认为是描述各种科学问题和工程场景[11]的有效方法。它由一元或多元未知函数的一阶或高阶导数组成，对应于常微分方程(ODE)或偏微分方程(PDEs)[12]。与初等代数中的代数表达式不同，该方法旨在建立未知函数及其导数之间的方程关系。因此，它的解应该是符合关系的函数。在实际应用中，微分方程是描述自然科学和社会科学中复杂过程的基本基础，例如动态系统通常描述物理[13]和金融问题[14]中状态之间的关系，而随机微分方程则用于描述关于随机过程[15]的统计推论。 然而，有效地解决DEs一直是一个长期的挑战。注意，ODE可以被看作是pde的特例。只有少数几个简单的偏微分方程可以通过有限的通用运算组合得到解析解[12]。对于更复杂的偏微分方程，如著名的NavierStokes方程，只有依靠高性能计算机，采用数值方法，如有限差分法(FDM)和有限元法(FEM)才能获得一定精度的解。同时，传统数值方法需要多次迭代计算，这无疑限制了其实际应用。目前，与数值求解偏微分方程相关的工程应用仍主要集中在高端领域，如基于计算流体动力学(CFD)的飞机设计、天气预报等。为了进一步提高求解偏微分方程的效率，从数学的角度对方法进行了强化，如在有限元中引入样条函数，建立了样条有限元[16]，[17]。同样，有限元的中心思想是离散解域，然后用数值逼近偏微分方程的解。因此，引入更有效的傅里叶变换(FT)或拉普拉斯变换(LT)来实现表达式也被证明是可行的[18]，[19]。最近，被认为具有强大的多元和高维函数拟合能力的DNN也被重新提出，用于轻量化和快速求解PDE。

图1所示。利用神经网络解决偏微分方程的方法的理论和应用的发展里程碑。

1.2 调研方案

据我们所知，Takeda等人[20]在20世纪80年代末首次提出了应用人工神经网络来执行与矩阵反演和傅里叶变换相关的计算。随后，Lee等人在1990年[21]的论文详细阐述了他们采用神经网络求解偏微分方程的工作。一般认为，依靠神经算法进行最小化可以构建高度并行的算法，从而实现有限差分方程(FDE)的高效求解。后来，Chen等人发表了几篇论文[22]，[23]，[24]，描述了使用神经网络(NNs)近似连续函数和非线性算子，并将其应用于动态系统。1998年，Lagaris等人在总结以往经验的基础上，进一步提出了一种利用神经网络来求解ODE和PDE的方法。Chen等人和Lagaris等人的工作也确定了目前使用神经网络求解偏微分方程的两个最突出的思想。然而，与其他基于神经网络的算法一样，早期设备计算能力的不足和构造神经网络的复杂性极大地限制了这些方法的实际应用。直到最近，GPU加速计算平台和高性能ML框架的流行才使它们起死回生。

在本次调研中，我们的目标是回顾、分析和整合过去近四十年来用神经网络方法求解偏微分方程的大量工作，并结合它们在实际工程场景中的应用。这项工作首先概述了用神经网络求解偏微分方程的理论方法及其在具体实践中的应用。发展的里程碑如图1所示，突出显示了关于近似函数和泛函[22]，[26]，[27]的作品出现的时间节点。本综述中不同类别的论文集合见表1。被调研的论文发表于1982年至2022年期间。自2019年被称为物理信息神经网络(pns)[8]的方法被提出以来，用神经网络求解PDE重新引起了人们的关注。由于TensorFlow、Pytorch和PaddlePaddle等高性能框架的出现，PDE作为神经网络的软物理约束训练方法迅速应用于复杂情况的仿真。同时，考虑到基于泛函理论专门设计的网络能够描述PDE族，研究人员致力于用高效算子[27]近似多精度、多场景设置。

在文献综述中，主要关注以下几个方面:

*相关文献中提出的理论方法，即神经网络如何从偏微分方程中获取足够的信息来帮助解决它们。详细介绍了逼近偏微分方程的神经网络类型以及相应的学习策略和方法; * 在不同场景(包括各种pde)中对这些场景进行数学描述的应用，这些场景在时间和空间上的规模以及计算成果; * 我们在描绘AI4Science的一个重要方面的工作:如何用DNN有效地解决PDE。我们建议更好地理解DL在推动科学计算方面的关键作用，以及当这两种研究范式融合时，这个传统领域如何变得更加令人耳目一新; * 近期值得关注的潜在趋势方向和新视角，有助于完善基础理论或工程应用形式。

第二节总结了一系列基于神经网络的求解偏微分方程的理论方法;第三节阐述了每种方法的数学基础，并分析了它们的共同点和不同点;第四部分根据各种方法的特点，介绍了各种方法在各个研究和工程领域中的应用;第五部分讨论了开放的挑战，进一步分析了潜在的趋势方向和新的前景;最后，我们在第6节对本文进行了总结。

2. 神经网络适用于求解偏微分方程

传统的数值方法如FDM和FEM，在连续研究领域中，主要受到网格的时空分辨率和离散形式的影响。也就是说，对于一个复杂的PDE系统，较高的描述能力通常需要更精细的离散化。此外，每个时间步的大量迭代计算进一步导致了沉重的负载。因此，在实际应用程序中，分辨率和计算负载/持续时间之间的平衡起着至关重要的作用。近几十年来，设备提供的计算能力保持了快速增长的势头。然而，它有望提高效率，从而释放被过度占用的计算资源。因此，探索人工智能和科学计算之间的交集是至关重要的。与传统的数值方法不同，基于人工智能的方法，特别是DNN，可以被训练来表达系统甚至PDE族，在实际使用中成倍提高计算效率。在这里，我们首先阐述了基于不同数学基础的几种用nn求解偏微分方程的方法。

图2所示。物理神经网络及其在Navier-Stokes方程求解中的应用示意图:(a)采用前馈神经网络实现逼近目标;(b)和(c)微分算子作为分量，建立基于偏微分方程的误差计算，这部分代表来自各种物理定律的约束;(d)综合物理约束和实际测量数据的损失函数，通过反向传播训练神经网络。

3 数学

在第2节中，根据方法所基于的不同数学基础和不同的学习目标，将依赖dnn求解偏微分方程的方法分为两类，即将偏微分方程作为软约束的考虑和神经算子。本节将再次回顾它们的数学原理，并回顾最初提出原始概念的年代(见表2)。希望从神经算法在求解偏微分方程方面的出现和目前的进展中获得一定的启示。

图3. 生成数据集的示意图，该数据集可以描述具有不同规模和保真度的不同场景，以训练神经算子。

4 .实际应用

在第3节中，梳理了用神经算法求解偏微分方程的方法及其演变，从而对不同方法适用的场景有了一定的理解。Karniadakis等人[56]对物理信息机器学习(PIML)进行了综述，包括他们提出PINNs后的传播应用。在本节中，将全面回顾这两种方法的各种应用(参见表3和图5)

图5所示。AI和科学计算的融合——前面提到的两种方法(使用pde作为约束训练dnn和构造神经算子)的出现促进了AI4Science的发展。如今，它们被应用于科学和工程的各个领域，包括单物理、多物理、工程和医疗场景的建模。此外，新方法具有寻找反问题解的功能

5. 讨论

计算机实现的求解方法有一个共同的特点:目标解由计算解近似而不是直接得到解析解。传统的数值方法如FDM/FEM和以偏微分方程为约束和神经算子的新方法都体现了这一思想。然而，应用DNN来求解偏微分方程无疑更加有效和彻底:精心设计的网络经过训练，可以在多个维度上同时逼近目标解，甚至在时间维度上。与传统的数值方法不同，基于DNA的方法可以学习物理状态与空间/时间坐标之间的直接映射，而无需在每个时间步上重复迭代。