物理知识辅助的机器学习预测：综述

本综述探讨了将机器学习与物理知识相结合进行预测和预报的多种方法和模型，特别关注与偏微分方程相关的方法。由于这些方法在通过小规模或大规模数据集以及具有有用归纳偏置的表达性预测模型来改进预测模型方面具有潜在的重要影响，因此引起了广泛关注。综述分为两部分。第一部分探讨了通过目标函数、结构化预测模型和数据增强在架构层面整合物理知识的方法。第二部分将数据视为物理知识，从而探讨了多任务学习、元学习和情境学习作为一种以数据驱动方式整合物理知识的替代方法。最后，我们还提供了这些方法在工业中的应用视角，并对物理知识辅助机器学习的开源生态系统进行了综述。

1 引言

预测是科学与工程的核心，许多进步涉及发现简单的模式——通常以符号表达式形式出现——来近似我们物理世界的演化。然而，这些数学模型往往通过某种程度的简化和抽象来实现，因此很少能够完全捕捉物理系统的复杂性。结果，人们对仅通过实际测量数据学习模型产生了浓厚的兴趣，从而推动了机器学习（ML）在物理科学领域的发展（Bishop 和 Nasrabadi, 2006）。这个领域依赖于使用大量测量数据来限制高度灵活的参数模型，而不是调用领域知识。机器学习方法在小数据和大数据环境下差异很大。小数据环境，自机器学习早期以来广泛应用，涵盖状态估计、系统辨识和核方法，考虑的是在多假设下利用数据估计少量未知参数的情况（Chiuso 和 Pillonetto, 2019）。大数据时代，由深度学习推动，可以利用大规模数据集训练过参数化模型，使其能够学习底层系统的内部表示（L’heureux et al., 2017）。在日益增加的数据和计算资源的推动下，机器学习现在可以直接学习内部表示，绕过对广泛领域专业知识和手工特征工程的需求（Goodfellow et al., 2016）。数据容量的爆发与硬件和软件的进步相辅相成。图形处理器（GPU）的发展提高了可设计模型的规模和训练速度。成熟的库优化了线性代数计算，使得这些复杂任务能够轻松实现并高效计算。然而，对于那些需要高度可靠性、稳健性和预测信任度的应用，仅依赖数据驱动的模型可能被认为是不足的，特别是在数据有限的情况下。一个自然的折衷方案是构建预测模型，结合通过数世纪科学研究获得的先验知识与现代机器学习的灵活性和规模（Karniadakis et al., 2021；Karpatne et al., 2022）。实现这一目标需要能够将先验知识以归纳偏置（Baxter, 2000）形式整合到模型中的模型，例如将任务相关的结构加入到模型、目标函数或学习算法中。这种附加结构类似于一个过滤器，基本上指导模型专注于与科学理解一致的解决方案。结果，模型的搜索空间变得更小，减少了不相关领域的探索。这种有针对性的探索使模型即使在数据有限的情况下也能有效学习。关键挑战在于如何谨慎设计这些归纳偏置。如果模型限制过多，最终的解决方案可能由于欠拟合而不理想。本综述调查了利用物理学先验知识来为预测任务提供信息的机器学习模型的方法。有若干任务适合使用这种物理知识辅助的模型。例如复杂的预测任务，如天气预报，尽管有大量测量数据，但传统物理模型难以模拟涉及多重空间和时间尺度的混沌系统（Schultz et al., 2021；Kurth et al., 2023）。另一个例子是求解逆问题（Ghattas 和 Willcox, 2021），在这种情况下，可以检查和查询现实的物理模型以计算系统为实现所需输出条件所需的输入条件。这些结果可以为系统的设计和运行提供信息。此外，主动故障监测在工业中至关重要，以确保生产顺利运行。通过将物理模型与实时测量相结合，这些系统能够评估操作准确性并预测潜在的故障，确保系统的可靠性（Aldrich 和 Auret, 2013）。本综述涵盖了在数据集DDD、目标函数LLL 和模型uθu_\thetauθ 中整合物理知识的多种方法（图1）。物理知识辅助的模型是由领域知识提供信息的架构和预测技术，在第3.1、3.3和3.5节中进行了讨论。第3.2和3.6节讨论了如何使用物理知识辅助的损失来学习任意模型。第3.7节调查了如何将物理知识以不变性形式编码到模型中。跨多个数据集和实验的数据驱动学习包括神经算子（第3.4节）、多任务学习（第4.1节）和元学习（第4.2节），这些方法可用于物理知识辅助和非辅助的模型及损失。最后，情境数据是另一种数据驱动的方式，用于在操作学习（第3.4节）和神经过程（第4.3节）中整合额外的领域知识。本综述旨在覆盖这些情况，如表1所示。

贡献

利用科学和工程领域的先验知识的机器学习是一个迅速发展的领域。已经有多项综述，重点关注特定技术，如物理知识辅助神经网络（PINNs）(Karniadakis et al., 2021; Pateras et al., 2023)、神经算子（Huang et al., 2022a）、Koopman算子（Brunton et al., 2022），或探讨如何最好地将科学知识与机器学习方法相结合（Von Rueden et al., 2021; Seyyedi et al., 2023）。本综述的贡献在于从机器学习的角度，专注于物理知识辅助学习的挑战。这包括探讨物理知识辅助的架构和损失函数，以及适用于物理知识辅助环境的模型和方法，如潜变量模型、数据增强、多任务学习和元学习。该综述旨在实现几个关键目标。首先，我们希望识别并传达物理知识辅助学习中的突出挑战，为机器学习研究人员提供未来研究方向的路径。其次，综述提供了关键指导，将物理知识辅助学习概念置于机器学习的更广泛背景中，并与各工程领域建立联系。第三，我们建立了一个精细的方法分类，为分类和区分不同的方法提供了结构化框架。此外，综述还评估了评估这些方法的工业相关性和实际应用的框架。最后，我们识别了可能影响工业应用的未来趋势。通过这些贡献，综述旨在弥合理论研究与实践应用之间的差距，使物理知识辅助的机器学习在解决复杂的现实问题方面更强大且更有用。