基于神经网络的偏微分方程求解方法研究综述

　神经网络作为一种强大的信息处理工具在计算机视觉, 生物医学, 油气工程领域得到广泛应用, 引发多 领域技术变革. 深度学习网络具有非常强的学习能力, 不仅能发现物理规律, 还能求解偏微分方程. 近年来基于 深度学习的偏微分方程求解已是研究新热点. 遵循于传统偏微分方程解析解、偏微分方程数值解术语, 本文称 用神经网络进行偏微分方程求解的方法为偏微分方程智能求解方法或偏微分方程神经网络求解方法. 本文首 先简要介绍偏微分方程智能求解发展历程, 然后从反演未知偏微分方程与求解已知偏微分方程两个角度展开 讨论, 重点讨论已知偏微分方程的求解方法. 根据神经网络中损失函数的构建方式, 将偏微分方程求解方法分 为 3 大类: 第 1 类是数据驱动, 主要从数据中学习偏微分方程, 可以应用于恢复方程、参数反演等; 第 2 类是物 理约束, 即在数据驱动的基础上, 辅以物理约束, 在损失函数中加入控制方程等物理规律, 减少网络对标签数据 的依赖, 大幅提高泛化能力与应用价值; 第 3 类物理驱动 (纯物理约束), 完全不使用标签数据, 仅通过物理规律 求解偏微分方程, 目前仅适用于简单偏微分方程. 本文从这 3 个方面介绍偏微分方程智能求解的研究进展, 涉 及全连接神经网络、卷积神经网络、循环神经网络等多种网络结构. 最后总结偏微分方程智能求解的研究进 展, 给出相应的应用场景以及未来研究展望.

1. 引言

人工智能引发多领域技术变革, 广泛应用于计 算机视觉, 生物医学, 油气工程开发等领域. 深度学 习 (deep learning) 在工程技术, 流体力学, 计算力学 等领域的研究具有重要的理论指导意义与工程应用 价值. 近年来, 基于油藏动、静态数据, 人工智能有 望实现油藏精细描述与精准开发, 提高采收率. 将测 井、压裂施工、生产数据等进行智能融合, 大幅提 升压裂改造效果, 降低开发成本. 大数据与智能优化 方法相结合, 将变革油田数据分析方法、油田开发 控制与优化方法[1] . 非常规油气开发难题与人工智 能相结合, 有望解决非常规复杂油气物理规律建立、 偏微分方程求解等难题. 人工智能与大数据将“实现 石油勘探开发主体技术更新换代的宏伟目标, 从技 术层面上促进石油勘探开发行业整体转型升级” [2] .

人工智能方法因其处理高度复杂问题的突出能 力, 已引起油田领域的特别关注[3-6]. 传统人工神经 网络已在石油工程领域得到广泛应用, 例如预测未 知年份的测井数据[3]、预测油品压力−体积−温度属 性[4]、预测注产剖面[5]、估算孔隙度[6]、井底流动压 力[7]、选择页岩气藏完井方法[8]、试井解释[9-13] 等. 深度学习是机器学习的一个新领域. 深度学习 的本质是构建含有多个隐藏层的网络模型, 通过学 习大规模的数据, 获得更具代表性的特征, 从而提高 预测和分类的精度. Tian 和 Horne[14] 利用递归神经 网络学习永久井下压力计 (PDG) 数据, 用于识别油 藏模型及生产预测. Sudakov 等[15] 将深度学习用于 渗透率预测. Mosser 等[16] 利用深度学习进行三维多 孔介质重构. 张东晓等[17] 利用循环神经网络研究测 井曲线的生成与修补. 近两年, 深度学习在试井参数 自动反演得到了很好的应用[18-20] . 同时, 在解决参数反演、数字岩心、测井曲 线、试井解释等问题上, 深度学习作为人工智能发 展引擎有着优秀的表现[21-25] . 以深度学习为核心的 人工智能正在油气开发领域掀起新的研究热潮, 其 中最具前瞻性、颠覆性的研究当属基于深度学习的 偏微分方程求解. 该方法一旦突破, 物理规律建立、 参数反演和数值模拟方法都将发生变革, 我国也将 在以偏微分方程 (偏微分方程) 求解为核心的工业计 算软件中迎来巨大机遇. 自 2017 年来, 深度学习在 物理规律发现、油藏参数反演和偏微分方程求解中 发挥了令人惊讶的作用[26-30] .

在实际开发现场或其他应用场景中, 只能获取 相关测量数据, 而数据背后所潜在的物理规律需要 进一步分析得到, 偏微分方程模型是刻画其特性的 重要工具. 目前, 解决基于大量数据寻找物理规律的 主要思路有: 在有一定的先验知识下, 列出偏微分方 程所描述的物理过程的备选项, 利用稀疏回归技术 或其他方法进行特征选择和参数估计[31-35] ; 其二用 神经网络作为逼近器的功能, 使用不同的神经网络 结构表征偏微分方程系统, 通过学习网络结构达到 发现物理规律的目的[1,36] .

现有的偏微分方程求解方法要进行网格划分、 非线性方程组求解, 计算成本高, 技术突破难度大. 基于深度学习的偏微分方程求解方法不仅能快速 正演、快速反演[37-38] , 而且能很好解决非线性问 题[39-42] , 能对更复杂、更高维的偏微分方程[27,30,43] 进行求解, 有望颠覆传统偏微分方程数值求解技术, 引发数值模拟技术的巨大变革。

虽然技术路线存在差异, 但深度学习在物理模 型建立、偏微分方程求解和参数反演中的应用, 其 核心仍是如何用深度学习表征偏微分方程. 当前的 研究多集中在无源汇的偏微分方程, 多是数据驱动 (data driven)、物理约束 (physics informed), 少量为 物理驱动 (physical based, physical constraint, theory based or without labeleddata).由于当前处于研究初始阶段,很多学者都提出了自己的术语,导致当前术语复杂,然而不同术语往往表示同一含义.为此,本文约定:数据驱动(datadriven)为仅用标签数据约束的方法,物理驱动(physicsdriven)为不含任何标签数据约束的方法.物理约束(physicsinformed)介于二者之间,即标签数据约束、偏微分方程约束共存的方法.因而,若仅用偏微分方程约束,物理约束方法就是物理驱动方法.另外,遵循于传统偏微分方程 解析解、偏微分方程数值解术语, 这里称用深度学 习进行偏微分方程求解的方法为偏微分方程智能求 解方法或偏微分方程神经网络求解方法.

本文将深度学习表征偏微分方程分为两个场 景: 构建未知偏微分方程与求解已知偏微分方程. 对 于构建未知偏微分方程, 本文简要介绍了网络结构 与偏微分方程、微分算子或演化算子等的内在联 系, 概述神经网络逼近未知偏微分方程的表示方法, 并给出其中有待解决的问题与难点. 对于求解已知 偏微分方程, 本文从数据驱动、物理约束和物理驱 动 3 个角度介绍神经网络求解已知偏微分方程方 法, 主要包括神经网络求解偏微分方程原理, 网络框 架构建, 损失函数构造等, 结合国内外研究现状, 系 统梳理该领域的研究脉络, 分析神经网络求解偏微 分方程中存在的关键问题和解决方案, 并对可行的 未来研究方向和内容进行讨论和展望. 此外, 虽然深 度学习在近年来得到了迅猛发展, 但其在求解偏微 分方程等力学问题上的研究仍然有限, 在实际应用 中的表现仍有待考验. 因此, 本文主要侧重研究方法 上的进展.

1. 基于神经网络的偏微分方程求解方法探索研究

1943年McCulloch和Pitts[44]建立了神经网络及其数学模型, 开创了人工神经网络研究的新时代. 20世纪80年代中期, 首次提出的反向传播算法算法及其发展[45]引起了人工神经网络领域研究的第二次热潮. 一直以来, 人们希望找到无须网格划分、无须非线性方程求解的偏微分方程数值求解新方法. 其探索之一就是基于人工神经网络的求解方法. 自动微分(automatic differentiation) 能使用链式法则精确计算导数[46-48], 可以根据神经网络的输入坐标和网络参数对整个神经网络模型进行微分, 从而代替偏微分方程中复杂的梯度计算, 为基于人工神经网络的偏微分方程求解奠定了基础.

在20世纪90年代, 便有学者开始研究使用神经网络求解微分方程的数学基础与方法. 1990年Wornik等[49]证明了多层神经网络能够逼近任意函数及其导数. 这为微分方程的神经网络求解奠定了理论基础. 随后, Li[50]证明了一个隐藏层的神经网络可逼近多元多项式函数及其导数. Lagaris等[51]将微分方程中的初值与边界条件独立表征, 提出颇为新颖的偏微分方程求解方法. 随后, 不少学者进行了探索研究, 例如, Aarts和Van[52]将表征不同阶微分算子的单隐层前馈网络联合起来, 共同训练来求解偏微分方程; 又如, Ramuhalli等[53]将有限元模型嵌入到神经网络中, 提出了有限元神经网络. 由于早期多层前馈神经网络模型的局限性, 早期方法只能求解简单的偏微分方程, 基于神经网络的偏微分方程求解方法没引起足够的重视.

早期方法主要基于数据驱动, 即事先获得偏微分方程的输入及精确解(常称为“标签数据”), 然后用神经网络逼近标签数据, 从而获得能够表征偏微分方程的神经网络模型, 如图1(a)所示. 网络的输入可以是参数或空间、时间等, 可根据需要选择.

随着深度学习算法在多个领域的成功应用[54-55], 国内外学者重新开启了基于神经网络的偏微分方程求解方法研究, 取得了系列突破, 提出了新方法, 如纯物理驱动的偏微分方程求解方法. 该方法用控制方程进行约束, 无需标签数据, 如图1(b)所示.

根据不同的应用场景, 本文将从深度学习反演构建未知偏微分方程和求解已知偏微分方程两个方面展开介绍. 下节主要介绍如何通过神经网络逼近线性或非线性算子, 从数据中找出隐藏的偏微分方程模型.

2. 基于深度学习反演未知偏微分方程

利用深度学习方法从数据中反演未知的偏微分方程是当前的研究热点之一. 对于未知的偏微分方程, 主要的研究目标是通过深度学习找出数据背后蕴藏的偏微分方程模型, 从数据中反演未知的偏微分方程 (例如方程的右端项、方程的积分形式或方程的演化算子等), 进一步构建模型用于求解.

恢复方程的传统思路是构建简单函数和偏导数的备选字典. 这些函数和偏导数很可能出现在未知的控制方程中. 根据已知偏微分方程的非线性响应的形式构建模型, 然后利用稀疏回归类方法来学习这些未知参数, 选择最准确代表数据的项. 这种传统的恢复方式要求假设非线性响应形式已知或确定微分算子的有限差分逼近的方法, 而深度学习大大降低了对偏微分方程先验知识的要求, 只需要简单的先验知识, 如方程最大可能的阶. 此外稀疏回归方法需要事先确定字典中空间差分的数值近似, 限制了字典的表达能力和预测能力且需要建立一个足够大的字典, 这可能会导致高的内存负载和计算成本, 特别是当模型变量的数量很大的时候. 深度学习方法采用可学习的卷积近似微分算子或近似演化算子, 从根本上提高从噪声数据中识别动力学的能力, 从而使模型具有更强的表达能力和和预测准确性. 如果没有足够的数据知识, 也有可能通过调整多项式的微分来获得更好的表征效果, 神经网络在偏微分方程求解和恢复问题中都大有可为. 近几年, 国内外学者致力于探究网络结构与偏微分方程、各项微分算子或方程的演化算子等的内在联系, 从理论上支撑用深度学习来表征偏微分方程. 2018年Long等[56-57]提出一种基于数据驱动的前馈神经网络(PDE-Net), 其核心思想是: 时间导数项做欧拉离散, 受约束卷积核近似微分算子, 进而使用神经网络或其他机器学习方法近似方程右端项, 构建网络来逼近偏微分方程系统, 并对其解进行长期预测. 此外结合Symnet (symbolic neural network) [58-59], 使用可学习滤波器PDE-Net2.0[56-57]更加灵活, 能够在少量先验知识的情况下揭示方程的解析形式, 尤其对于非线性问题有更好的结果, 并能够更强大地逼近未知动态和更长的时间预测.

González-García等[62]基于人工神经网络体系结构提出物理模型建立方法, 其本质是在一定的先验知识下, 列出描述物理过程的偏微分方程所有的备选项, 利用人工神经网络进行自动选择和参数估计, 从而发现数据后隐藏的物理规律.

Wu等[63-64]首次基于残差网络(ResNet)构建了从数据中学习未知微分方程的新框架. 该框架以微分方程内在的积分形式为基础, 以逼近方程的流谱(flow map, 针对常微分方程)和演化算子(evolution operator, 针对偏微分方程)为目标, 从根本上避免了传统框架(以逼近方程的右端项为目标)所依赖的数值微分. 文献[63-64]提出了两种多步的ResNet神经网络结构, 从精确演化算子的角度, 首次在理论上建立了ResNet与精确演化算子的内在数学关系、由此给出了该深度学习方法的数学解释. 不同于Wu和Xiu[64]在模态/傅里叶空间学习方程, Chen等[65]在物理空间进行学习和建模, 利用DNN学习测量数据, 从而学习未知偏微分方程. Chen等[66]提出一种无梯度的符号遗传算法(SGA-PDE), 使用符号数学灵活表示任意给定偏微分方程, 优化其表示形式, 从数据中发现开放形式的偏微分方程. Xu和Zhang[67]在PINN的基础上提出一种更具鲁棒性的深度学习遗传算法(R-DLGA), 将深度学习−遗传算法提供的潜在项的初步结果作为物理约束加入损失函数, 提升了在高阶导数等影响下导数的计算精度, 从而在高噪声稀疏数据中获得偏微分方程.

迄今为止, 该领域提出的许多方法都存在一些局限性. 特别是, 目前的方法通常研究ut=N(u,x,t)ut=N(u,x,t) 形式的方程, 但许多物理方程不在此类. 此外, 如果测量一个具有参数依赖性的系统, 如何消除演化动力学及其参数依赖性之间的歧义是有待解决的问题. 尽管神经网络表现出强大的数据学习能力, 但对于有噪声数据的学习, 尤其在非线性、多耦合的复杂物理系统中, 网络模型的精确性以及稳定性有待提升.

而对于已知的给定的偏微分方程, 神经网络可用于逼近偏微分方程的解或表征方程, 本文下节将从数据驱动、物理约束和物理驱动3个方面对神经网络求解偏微分方程展开介绍, 并简述所用的神经网络, 如全连接神经网络, 卷积神经网络(CNN)、残差网络(ResNet)、DenseNet、自编码网络(autoencoder)、长短期记忆(LSTM)网络等, 总结现有研究的重要进展, 并探讨下一步的发展趋势, 对未来偏微分方程智能求解的研究提出建议.

3. 基于深度学习的偏微分方程求解方法

**3.1 偏微分方程神经网络求解方法概述

深度神经网络的基本结构是前馈全连接深度神经网络[68], 以此为例介绍已知偏微分方程的神经网络求解方法. 以d维行向量x∈Rdx∈Rd为网络输入, 一个单隐层神经网络的k维输出形式为

数值实验表明, 3D-PDE-Net求解精度L∞L∞误差比求解比数值格式Douglas-Gunn ADI降低20倍[73]; 所加入分层的自适应激活函数可10倍提高训练速度, 且局部误差得到改善. 但此时3D-PDE-Net不是显式可解释的.3.2.2 基于其他网络的偏微分方程求解方法

Liu等[26]探讨了全连接神经网络在函数逼近中的应用, 并提出了一个通用的基础微分方程求解器, 主要利用自动微分对方程的初值问题和边值问题进行求解. E等[30]与Han等[27]用深度学习逼近梯度算子, 基于偏微分方程的离散格式, 对高维偏微分方程给出深度学习求解新方法. 对有H个隐藏层、N个时间间隔的半线性抛物型偏微分方程的网络结构如图3所示, 整个网络共有(H+1)(N−1)(H+1)(N−1)层, 通过损失函数共同优化所有的网络参数. t=t1,t2,⋯,tN−1t=t1,t2,⋯,tN−1中的每一列对应一个tt时间步的子网络, h1n ,h2n ,⋯,hHnhn 1,hn 2,⋯,hnH是每一个子网络中的中间神经元. 基于标签数据, 用多层前馈神经网络逼近梯度算子, 从而可得到高于100维的偏微分方程解, 并给出了多种类型高维偏微分方程方程的求解结果.

**3.3 物理约束下的偏微分方程神经网络求解方法

由于数据驱动存在泛化能力弱等缺点, 物理驱动可提高泛化能力, 减少标签数据. 物理驱动与数据驱动相融合, 即物理约束的方法, 受到广泛的关注.

在近几年的研究中[74-76], 已经看到利用结构化先验信息构建基于数据和物理信息的机器学习算法的研究前景. Sirignano等[77]给出了类似于LSTM人工神经网络的deep Galerkin method (DGM)网络, 提出了基于Galerkin方法的二阶微分算子计算方法, 同时给出了物理约束下的神经网络逼近定理.3.3.1 PINN Raissi等[39-40]利用偏微分方程的控制方程以及边界条件等恒等式构造残差, 利用各项残差之和构造损失函数, 并将此方法拓展到解决非线性问题, 提出了物理约束下的神经网络(physics informed neural network, PINN). PINN将数据驱动与物理约束相结合, 从而提出了偏微分方程建立与求解的新思路, 即, 对偏微分方程

3.3.2 基于PINN的改进方法

基于PINN算法, Toshiyuki等[78]使用由3个DNNs组成的PINN框架对Richardson-Richards方程进行参数反演, 并估算保水曲线和水力传导函数. Han等[79]介绍了一种基于深度学习的一般高维抛物型偏微分方程的求解方法. 先对偏微分方程进行重新构造, 再利用神经网络逼近未知解的梯度, 在非线性方程计算中得到了满意的数值结果. Meng等[80]提出了一种改进的PINN方法, 称为PPINN, 将一个长时间的问题分解为多个独立的短时间问题, 以加速偏微分方程的求解. Michoski等[81]研究了激波偏微分方程神经网络求解方法, 神经网络方法与传统方法结果对比表明, 基于神经网络的求解方法有优势, 标签数据可有效提升求解精度. Kani和Elsheikh[82]将物理约束求解偏微分方程方法与正交分解(POD)和离散经验插值方法(DEIM)相结合, 提供了一个高精度的非线性动力系统降阶模型, 降低了高保真数值模拟的计算复杂度. Jagtap等[83-84]提出自适应激活函数, 有效地提高了PINN逼近非线性函数和偏微分方程的效率、鲁棒性和准确性, 自适应激活函数如下, 图4为各自适应激活函数的图像

然而, 含标签数据的偏微分方程神经网络求解方法, 存在很大的局限性. 对很多问题, 其精确解是未知的. 若需要偏微分方程的精确解才能构造损失函数, 这大大限制了其应用范围. 例如, 在油田开发过程中, 仪器只能测量井底的压力、井口的产量, 而不能获得其他地区的压力. 这意味着基于标签数据的偏微分方程求解方法无效. 从而, 基于纯物理约束(即物理驱动)的求解方法具有更广阔的应用前景, 有着与传统求解方法一样的便利性(无须任何标签数据). 这一旦突破, 将引发偏微分方程求解技术的真正变革.3.3.3 可测量标签数据下的偏微分方程神经网络求解方法

上述数据驱动下的偏微分方程求解方法往往需要未知量的分布数据 例如需要知道压力空间分布数据. 这往往在实验条件下才能获得. 例如, 可在实验中布置多个压力传感器, 才能获得压力的空间时变数据. 但对实际工程问题, 这部分数据是不可测量的. 例如, 在油藏开发中, 只能测量井中的压力, 其他的压力数据无法获知. 因而, 上述数据驱动下的偏微分方程智能求解方法难以有真正应用.

实际工程中, 存在一部分可测量的数据, 若能使用少量的可测量数据作为标签, 就能对偏微分方程进行求解, 将具有重要的理论意义与应用价值. 部分学者对此进行了积极的探索研究.

Wang等[85-86]将实际工程中的专家经验、物理规律和稀疏观测数据等整合为理论指导神经网络(theory-guided neural network,TgNN), 如图5所示, 利用TgNN解决地下流动建模, 不确定性量化等问题.

Li等[87]使用深度神经网络解决单相渗流问题, 加入部分可测量的井底流压数据作为标签, 有效提高非稳态、具有源汇的偏微分方程问题的求解精度. 该方法的最大特点是, 除将可观测的井底压力数据作为标签外, 不再需要任何其他的标签数据, 而是用偏微分方程约束代替压力分布的标签数据, 从而大大提高该方法实际应用可行性. 此外, 利用源汇项引起的梯度特征构造梯度模型, 作为“路标”加入神经网络, 通过添加固定神经元的方式帮助网络提高优化能力, 同时提出了预训练获得“路标”的解决思路. 图6为智能求解所获得的压力分布、井底压力(BHP)图.

Chen等[88]提出一种基于协方差矩阵优化的无梯度神经网络, 有效提升学习小数据样本的鲁棒性, 适合实际工程应用. 在后续研究中, Chen等[89]提出一种硬约束投影(hard constraint projection, HCP)的方法提升机器学习方法对小样本数据的学习能力.

**3.4 物理驱动下的偏微分方程神经网络求解方法

相较于传统数值求解, 偏微分方程智能求解仍受标签数据的约束, 在实际应用中, 往往会面临数据获取困难的情况. 对此, 无需标签数据的物理驱动方法成为重要的研究方向, 是最终的解决方案.3.4.1 全连接神经网络(FC-NN)求解偏微分方程

Nabian等[90]使用无监督的前馈深度残差神经网络近似高维偏微分方程, 利用随机梯度下降(SGD)算法优化神经网络参数. Cai等[91]研究了基于无监督深度学习的一维二阶椭圆偏微分方程数值求解方法, 并利用一阶系统最小二乘(FOSLS)作为损失函数来优化神经网络的参数. Sun等[92]提出了基于“硬边界约束”的神经网络求解方法, 将偏微分方程的控制方程和边界条件作为损失函数来约束神经网络, 通过构造“硬编码”的结构化深度神经网络来加强初始条件和Dirichlet边界条件, 有效增强物理约束下的偏微分方程智能求解, 如图7所示. 对于下述不可压缩Navier-Stokes方程[92]

然而, 对于具有Neumann边界条件的偏微分方程问题, 仍将Neumann边界条件以惩罚项的形式加入损失函数, 在求解精度上仍有所欠缺. 综上所述, Sun等[92]为一部分具有Dirichlet边界的稳态问题的物理约束求解提供了很好的解决方法, 但由于需要解析解构造边界平滑函数, 对非稳态, 具有Neumann边界的问题存在一定的局限性.3.4.2 CNN求解偏微分方程

在人脸识别、AlphaGo等大显身手的CNN在偏微分方程求解中也受到广泛关注. 偏微分方程的属性空间(如渗流方程中的渗透率)与解空间的对应关系, 非常适合用卷积算子进行表征. 基于这一特性, 卷积神经网络求解偏微分方程会有很大的优势. 然而, 多数偏微分方程求解网络都基于FC-NN的“点态”(基于时空域中离散的分布点)方式进行训练, 这意味着FC-NN训练样本分布自由度很大. 而CNN则需要输入相对完整的样本分布, 是以“点阵”图像的形式进行训练. 这就带来了诸多新挑战, 如不规则域、卷积网络损失函数构造等. 对于不规则域, Gao等[93]通过对CNN网络输入的物理量约束, 得到偏微分方程求解神经网络模型, 再通过保形变换, 实现对不规则区域下的偏微分方程求解.

对于卷积网络的损失函数, Zhu和Zabaras[94]提出了贝叶斯损失函数约束下的新偏微分方程求解网络. 该网络模型将CNN与编解码器网络相融合, 吸取了DenseNet特征重用的优点, 使得在参数和计算成本更少的情形下实现比ResNet更优的性能[95]. 如图8所示.

随后, Zhu等[96]研究了数据驱动、物理驱动等损失约束下的偏微分方程求解方法, 并提出物理约束的稠密卷积编解码器网络(如图9所示), 提高求解精度以及泛化能力, 并使用Sobel算子计算CNN框架下的导数. 与FC-NN不同, CNN以卷积的形式提取图像特征, 其本质就是对图像的像素求导数, Sobel算子是以滤波算子的形式计算一阶导数, 从而可利用卷积函数快速计算.

然而, 目前研究的物理驱动方法(无标签数据)尚不能有效解决非稳态与源汇的问题. 物理驱动的研究仍在起步阶段, 离实际需求还很远.

总体上, 基于深度学习的偏微分方程建立、求解与参数反演研究还处于初始阶段, 主要存在以下问题: (1)很多方法只能应用于简单的偏微分方程, 例如, 偏微分方程中没有时间导数项, 或没有源汇项. 这说明求解方法还有待深入研究. (2)多数方法都是基于数据驱动的: 数据驱动下, 神经网络受到了强有力的约束, 从而更容易收敛, 但其场景有限. (3)物理驱动方法亟待突破: 一旦物理驱动下的偏微分方程求解方法获得突破, 偏微分方程求解方法将获得颠覆性的变革, 基于深度学习的偏微分方程重建、参数反演方法都将随之变革. 然而, 少了标签数据的约束, 深度学习收敛将十分困难, 大量的科学技术问题亟待解决.

4. 研究前景与展望

国内外研究进展表明, 当前的应用场景主要有3种. (1)基于神经网络的偏微分方程建立: 在大量实测数据的基础上, 可以利用深度学习网络在大量备选的偏微分算子中, 寻找合适的算子来“拟合”实测数据, 从而“人工智能”地建立偏微分方程. 相关研究很多, Raissi和Karniadakis[42]认为, 深度学习有能力在少量的数据中就可发现其背后的物理规律; 对高噪声稀疏数据, Xu和Zhang[67]将深度学习和遗传算法相融合来提算法高鲁棒性.

(2)参数反演: 参数反演是众多工程问题的难点之一. 利用神经网络的逼近能力, 可以进行快速反演. 该方法一般是基于标签数据的. 数据驱动下的参数反演可无须考虑物理过程, 例如试井参数自动反演就可从数据到数据[18-19]. 然而, 将数据驱动与物理信息相结合, 可能会有更好的反演效果[86,97]. 从另一个角度, 将物理信息(如控制方程)加入预测模型, 能够根据容易获得的数据预测更难获得的数据[89,98-99]. 为此, 将物理驱动与数据驱动相结合, 将大幅降低标签数据的数据量, 相关研究将给工业应用带来很大的便利.

(3) 偏微分方程智能求解: 基于深度网络的偏微分方程求解, 无须网格划分、线性方程组求解、没有维度灾难. 然而, 由于约束少, 纯物理约束下的求解方法挑战仍很大. 这也是偏微分方程深度学习求解必须攻克的难题.

另一求解偏微分方程的思路是利用神经网络对非线性方程组的逼近能力, 进行偏微分方程求解. 神经网络的权值修正方法可以用来逼近与求解非线性方程组, 且能证明, 通过对权值的限制, 该方法一定是收敛的[100]. 由于偏微分方程方程离散后仍是非线性的, 从而可用此方法进行求解. 按此思路, Ebadi等[101]用自适应神经网络代替传统的牛顿迭代法, 提出了一种技术路线与上完全不同的偏微分方程求解方法, 并利用该方法对一维的单项与两相流动进行了求解.

另一研究思路是, 将偏微分方程与深度学习混合使用, 相互学习、相互支撑. 存在这样的情形, 数据中隐藏的物理规律部分已知, 部分未知. 未知部分用深度学习表征, 已知部分用偏微分方程表征, 从而整个损失函数将包含这两部分内容. 这样, 在神经网络训练时, 二者能相互约束、相互修正, 既能防止过拟合, 也能弥补数据丢失等引起的误差[102], 使精度更高, 效果更好.

除传统数值计算具备的应用前景外, 基于深度网络的偏微分方程求解还将大幅提升强非线性偏微分方程求解能力, 借助深度学习的并行能力, 提升数值模拟速度. 再借助物理约束与深度学习本身认知能力, 在历史拟合中, 有望自我完善偏微分方程, 从而极大丰富与增强建模途径与能力, 流动模型建立与数值模拟能力都将发生巨大变化.

5. 结语

从反演未知偏微分方程与求解已知偏微分方程两个角度, 本文总结了偏微分方程智能求解方法的发展历程, 从数据驱动、物理约束和物理驱动3个方面, 重点介绍了已知偏微分方程的智能求解方法, 简要介绍了应用场景和未来研究方向. 数学界更注重一般偏微分方程方程智能求解方法研究, 结合具体领域的应用研究研究正受到重视. 若能突破物理驱动求解方法瓶颈, 有望颠覆传统偏微分方程数值求解技术, 引发数值模拟技术的巨大变革.

偏微分方程深度学习求解具有深厚的科学内涵, 需要将深度学习理论、数值模拟技术、偏微分方程数学本质、偏微分方程物理意义和工程背景等有机融合, 深度交叉, 方能得到物理意义明确、数学基础坚实、能解决工程问题的偏微分方程求解新方法, 将推动数学、力学、人工智能和油藏工程等学科融合与学科发展.