什么是物理信息机器学习(PIML)？清华最新《基于物理信息的机器学习:问题、方法和应用》综述，42页pdf全面阐述PIML进展

2022 年 11 月 16 日 专知

伴随着人工智能的飞速发展，以神经网络为代表的深度学习宛如饥饿的猛兽，无论你喂多少的数据给它，它都不嫌多。但在现实中，有很多数据存在着丢失、不完整。再者，虽然神经网络可以实现很高的精度，但是它们不能为我们总结底层的原理。难道我们真的要丢掉无数学者总结出的知识，完全依靠数据来推动发展吗？最近学者将物理知识嵌入机器学习，称为基于物理信息的机器学习，可以以一种统一的方式无缝地整合数据和物理原理，也因此提升了机器学习的泛化性，使机器学习不再是只针对特定的某种问题有着很好的效果。来自清华大学朱军等学者发布了《基于物理信息的机器学习:问题、方法和应用》综述，42页pdf全面阐述PIML进展。

数据驱动机器学习的最新进展已经彻底改变了计算机视觉、强化学习以及许多科学和工程领域。在许多现实世界和科学问题中，生成数据的系统是受物理定律支配的。最近的研究表明，通过结合物理先验和收集到的数据，它为机器学习模型提供了潜在的好处，这使得机器学习和物理的交叉成为一个流行的范式。在本次综述中，我们提出了一种被称为物理信息机器学习(PIML)的学习范式，它旨在建立一个模型，利用经验数据和可用的物理先验知识来提高一组涉及物理机制的任务的性能。我们从机器学习任务、物理先验的表示和融合物理先验的方法三个角度系统地回顾了基于物理的机器学习的最新发展。根据该领域目前的发展趋势，我们提出了几个重要的开放研究问题。我们认为，将不同形式的物理先验编码到模型架构、优化器、推理算法和重要的领域特定应用(如逆向工程设计和机器人控制)中，在基于物理的机器学习领域中还远远没有得到充分的探索。我们相信这项研究将鼓励机器学习领域的研究人员积极参与到基于物理的机器学习的跨学科研究中来。

https://www.zhuanzhi.ai/paper/01607bcd00ae3cab2bbac713236498ea

1. 概述

近几十年来，随着计算机技术的发展，科学研究的范式发生了革命性的变化。传统上研究自然现象的方法是理论推导与实验验证相结合。随着计算方法的发展，大量基于计算机数值模拟的方法被开发出来，以理解复杂的实际系统。如今，随着科学实验的自动化和批量化，科学家们积累了大量的观测数据。(数据驱动)机器学习的范式是理解和建立模型，利用经验数据来提高某些任务集的性能[1]。借助观测资料的学习，促进现代科学和工程技术的发展具有重要意义。

作为近年来机器学习显著进展的一部分，深度神经网络[2]在计算机视觉[3]、自然语言处理[4]、语音处理[5]、强化学习[6]等领域取得了里程碑式的突破。只要有足够的数据量，神经网络的灵活性和可伸缩性使得它可以很容易地被应用到许多不同的领域。深度神经网络强大的抽象能力也促使研究人员将其应用于物理系统建模中的科学问题。例如，AlphaFold 2[7]已经彻底改变了蛋白质结构预测的范式。同样，FourCastNet[8]建立了一个超大型的基于学习的天气预报系统，它超越了传统的数值预报系统。Deep Potential[9]提出了学习满足对称性的大尺度分子势的神经模型。

虽然基于统计的机器学习模型在大数据的帮助下取得了惊人的进展。当将这些纯数据驱动的模型作为现实应用程序部署时，仍然存在许多限制。例如，预测可能不可靠，缺乏可解释性，并且可能违反物理约束或常识。在计算机视觉中，深度神经网络通常难以识别和理解图像或视频中的几何、形状、纹理和动态，外推能力有限。此外，这些模型在训练分布[10]之外的表现也不令人满意，或容易受到人类难以察觉的对抗噪声[11]的攻击。在深度强化学习中，智能体可以通过试错来学习采取奖励更高的行动，但它并不认识到潜在的物理机制。在科学问题中，物理系统通常受到一些领域特定的物理定律的约束，如微分方程。科学和工程领域收集的数据往往是稀疏和有噪声的，因为现实世界的实验非常昂贵，而且会受到环境或设备噪声的干扰。在常见的机器学习模型中，从稀疏和噪声数据中学习会导致严重的泛化错误。我们认为，造成泛化错误的一个可能原因是，目前仅依赖经验数据的统计学习模型没有意识到生成数据的内部物理机制。以人类为参照，人类从数据中理解简明物理定律的能力，可以帮助模型更高效、更稳健地学习、推理、与世界互动[12]，[13]。使机器学习模型能够感知物理定律或约束是机器学习领域一个开放而有吸引力的领域。

根据问题的背景和物理约束的表示，研究人员尝试了许多方法将物理知识与机器学习结合起来。虽然有大量复杂的工作，但我们可以提炼出一个简洁的形式化的物理机器学习(PIML)概念。具体来说，基于物理的机器学习(PIML)的范式是建立一个模型，利用经验数据和可用的物理先验知识来提高一组涉及物理机制的任务的性能。在基于物理的机器学习中有几个基本问题。

图1:基于物理的机器学习概述。物理先验由强到弱的表征可分为偏微分方程/偏微分方程/偏微分方程、对称性和直观物理。它们可以被整合到机器学习模型的不同部分，如数据、模型架构、损失函数、优化器和推理算法。不同的方法用于不同类型的任务，如神经模拟，逆问题，CV/NLP和RL/控制。在物理信息机器学习领域，还有许多像物理信息优化器和物理信息推理方法等有待探索的空间。

首先，物理先验知识的定义和表征是什么? 在现有的工作中，我们可以将物理先验知识由强到弱分为PDE/ ODE / SDE或代数约束、对称约束和直观物理约束几类。PDE/ ODE / SDE在科学和工程中无处不在。它们还具有分析数学表达式，因此很容易集成到机器学习模型中。例如，PINN[15]使用PDE/ ODE作为正则化项构造损失函数。神经alode[16]构建了一个新的神经结构，服从ode。对称约束和直观物理约束比偏微分方程/偏微分方程的归纳偏差更弱。对称约束的例子有平移、旋转和排列不变性或等方差。在设计新型网络体系结构时，它是一种广泛使用的归纳偏差。例如，PointNet[17]和图卷积网络(GCN)[18]利用了点云数据和图数据的排列不变性。在他们之后还有成千上万的作品，我们就不详细讨论了。物理学中的守恒定律也可以看作是对称约束。直观物理(或朴素物理)[19]是关于物理世界中物体的动力学和约束的可解释的物理常识。例如，“一个固体不能穿过另一个固体”是描述物体连续性的直观物理约束。虽然直观的物理约束是必不可少的和简单的，但如何用数学的和系统的表示它们仍然是目前具有挑战性的任务。

第二，如何将物理先验知识集成到机器学习模型中? 训练一个机器学习模型包括几个基本组成部分，即数据、模型架构、损失函数、优化算法和推理。物理先验可以集成到一个或多个这些组件中。首先，对于具有对称约束或已知的偏微分方程/偏微分方程的问题，可以对数据进行增强或综合。模型可以从这些生成的数据中学习。其次，模型的体系结构可能需要重新设计和评估。由于偏微分方程/偏微分方程、对称性、守恒定律以及数据可能存在的周期性等物理规律，可能需要我们重新设计现有神经网络的结构，以满足实际问题的需要。第三，对于包含物理约束的训练模型，一般深度神经网络的损失函数和优化方法可能不是最优的。例如，当使用物理约束作为规则项损失时，每个损失函数的权值调整非常重要，常用的一阶优化器如Adam[20]不一定适合这类模型的训练。

第三，基于物理的机器学习的任务是什么? 从基于物理的机器学习的定义中，我们看到它也适用于纯统计机器学习的问题设置，如监督学习、无监督学习、半监督学习、强化学习等。然而，一个基本条件是，基于物理的机器学习问题必须涉及现实世界的物理过程，而我们必须对此有所了解。否则，它就退化为纯粹的统计学习。现有的工作可分为两类，即利用PIML解决科学问题和结合物理先验解决传统机器学习问题。在本文中，我们将分别讨论这些应用。第一堂课，人类掌握了丰富而精确的物理定律来描述科学现象，通常用微分方程来表示。目前，PIML领域在科学问题上有更多的进展，我们将在总结方法时重点介绍。具体来说，这些问题大致可以分为两类:物理系统的神经模拟(包括神经求解器和神经算符)和逆问题(如逆设计和科学发现)。神经模拟的目的是利用物理知识和可用数据预测或预测系统的状态。例如，求解PDE系统、预测分子性质和预测未来的天气都可以被视为正向问题。相反，逆问题的目标是找到一个满足数据或给定约束的物理系统，例如，从数据中科学发现PDE, PDE系统的最优控制等。我们总结了近年来提出的工作，按时间顺序排列，如图2所示。在第二节课中，结合物理知识可能会显著帮助提高在许多计算机视觉和强化学习任务中的表现。在这些领域中，物理知识比精确的微分方程更加模糊和难以表示。对称和直观的物理约束更常被用作增强机器学习模型的物理先验。

图2:基于物理的机器学习的神经模拟(神经求解器和神经算符)和逆问题(逆设计)的重要方法的时序概述。

由于这是一个有吸引力的研究领域，最近发表了一些相关的综述。[12]展示了基于物理的机器学习发展的整体图景。[21]是一个非常相关的研究，它关注的是PINN的算法和应用。[22]回顾了使用神经网络求解偏微分方程的理论结果。一些研究关注物理信息机器学习的子领域或应用，如流体力学[23]、不确定性量化[24]、域分解[25]和动态系统[26]。[27]，[28]，[29]，[30]，[31]提供了更多的例子，以及软件教程。[32]，[33]，[34]，[35]专注于机器学习与物理知识的混合建模范式。在本次综述中，我们的主要贡献是从机器学习研究者的角度总结了基于物理的机器学习的发展。我们提供了关于算法、理论和应用的全面综述，并提出了基于物理的机器学习的未来挑战，这将极大地促进跨学科研究的社区。这篇综述文章组织如下。首先从数学的角度介绍了本文的基础和背景。然后，我们介绍了在科学问题和传统机器学习任务(如计算机视觉、强化学习)中相关的基于物理的机器学习方法的发展。对于科学问题，我们重点介绍了具有代表性的方法，如PINN、DeepONet以及目前各种改进的变体、理论、应用和未解决的挑战。然后分别总结了将物理先验知识融入计算机视觉和强化学习的方法。最后，我们描述了机器学习社区的一些具有代表性和挑战性的任务。

2 神经模拟

用基于神经网络的方法来模拟PDEs/ODEs/SDEs (neural simulation)所控制的物理系统，是基于物理的机器学习领域中一个卓有成效和活跃的研究领域。在本节中，我们首先列出本文中使用的符号和背景知识。神经仿真主要包括两个部分，即使用神经网络求解单个偏微分方程/偏微分方程(称为神经求解器)和学习参数化偏微分方程/偏微分方程的解映射(称为神经算子)。然后，我们将详细总结神经求解器和神经算符的问题、方法、理论和挑战。

3 . 逆问题

除了使用神经网络作为模拟物理系统的代理模型外，还有一项重要而富有挑战性的任务:设计或优化物理系统的未知参数。这个问题也被称为逆问题(如逆设计)，广泛应用于工程[253]、[254]、[255]、设计[256]、[257]、流体动力学[258]等许多领域。在本节中，我们回顾了结合机器学习算法，特别是神经网络，来解决逆向设计问题的方法。我们首先形式化了逆设计问题，并在3.1节中介绍了逆设计的基本概念、传统方法和挑战。考虑到反设计的求解通常涉及物理系统或过程的仿真、性能评估和组态表示等多个步骤，根据它们在反设计任务中的作用，给出了不同的求解方法。物理系统的神经代理建模已经得到了广泛的关注，相关研究将在第3.2节中介绍。针对反设计其他部分的方法将在第3.3节中介绍。最后，在第3.5节中，我们讨论了该领域的剩余挑战和未来的工作。

4. 结论

在这篇综述中，我们从机器学习研究者的角度，对基于物理的机器学习领域进行了系统的综述和总结 。首先，我们确定并介绍了基于物理的机器学习的一般概念。我们认为存在几种类型的物理先验，即偏微分方程/偏微分方程/偏微分方程，对称约束和直观物理。它们可以嵌入到机器学习模型的不同部分，即数据、架构、损失函数、优化方法和推理算法。然后，我们详细地介绍了这些问题的现有方法、面临的挑战和未来的发展方向。现有的研究大多集中在利用神经网络求解或识别受PDE/ ODE控制的系统，即神经模拟和逆向设计。本文详细总结了这些方法的研究进展。从方法论的角度来看，基于物理的机器学习问题有许多开放的挑战。

如何为不同物理背景的问题设计标准化数据集是一个开放的挑战 。数据集和基准提供了一个公平的环境来比较不同的算法，并激励研究人员发现新的算法。在基于物理的机器学习领域，由于物理先验的多样性，这样的数据集是缺乏的。一个有价值的、真实的数据集或基准，包含单层或多层物理先验，将在促进机器学习社区中发挥重要作用。
设计更好的优化和推理算法结合或依据物理先验是一个有价值的话题 。虽然有许多研究模型架构启发或代表物理先验的工作，优化方法和推理算法得到较少的关注。与限制假设空间不同，引入物理先验的新优化方法可能是训练基于物理的机器学习模型的另一种选择。此外，在对模型进行预训练时，我们可能还需要更好的推理算法来确保输出满足物理定律。