面向工业监控典型监督任务的深度迁移学习方法：现状、挑战与展望

基于深度迁移学习的工业监控方法在近年来获得了大量研究关注，特别是在以故障诊断、软 测量等为代表的工业监控典型监督任务中。通过挖掘与迁移相似源域的知识来完成对目标域的建模， 这类方法为实际工业场景中变工况等原因导致的跨域监控问题提供了新的思路。本文系统梳理了面 向工业监控典型监督任务的深度迁移学习方法，并将其分为基于模型迁移、基于样例迁移与基于特 征迁移的工业监控方法。在此基础上，对不同类方法的基本研究思想、在故障诊断与软测量任务中 的研究进展进行了详细阐述。随后，从实际工业场景的复杂欠数据问题、可迁移性的量化与负迁移 问题、工业过程的动态特性问题等角度，指出了当前基于深度迁移学习的工业监控研究中存在的挑 战，并对该领域的未来研究方向做出进一步展望。

1. 引言

随着现代工业不断向高端化、复杂化趋势发展，系统运行的安全性、可靠性面临着更大挑战 [1∼ 3]。作为保障工业安全可靠运行的必要手段，以数据驱动的故障诊断与软测量为典型代表的工业监 控任务在近年来获得了大量关注 [4∼6]。故障诊断旨在识别出当前系统所发生的故障类型，而软测量 往往利用过程中较易测得的变量实现对质量变量的回归建模。其中，质量变量一般指在工业过程中 与产品质量紧密相关的、需加以监控的过程变量，这类变量往往具有获取成本较高、测量具有一定 延迟等特点 [7]。由于这两类任务往往基于工业过程历史运行过程中积累的标注样本，有监督机器学 习方法目前在这两类任务中得到了广泛应用 [8∼10]。近十年来，得益于深度学习算法的蓬勃发展与各类工业传感器的广泛部署，基于深度学习的方法在工业监控领域大放异彩。例如，基于各类卷积 神经网络 [11∼14]、递归神经网络 [15, 16] 与 Transformer [17] 的方法在工业故障诊断、工业过程软 测量任务中相较传统机器学习方法获得了显著性能提升。然而，这些方法往往假设训练数据与测试 数据具有相同的分布 [18]。在实际工业场景中，操作条件改变、给料变化等复杂变工况现象 [19∼22] 导致了显著的训练与测试数据分布不一致问题。这一问题为传统深度学习方法的广泛应用带来了挑 战。

近年来，随着深度迁移学习方法的兴起，通过挖掘与迁移相似源域的知识来完成对目标域的建 模，为解决上述问题提供了新的思路 [23]。一般来说，深度迁移学习方法以深度神经网络为基础，通 过利用源域中的数据或模型，进一步结合目标域中的有限数据，以完成知识的迁移过程。不同于传 统基于机器学习的工业监控方法对不同域单独建模并决策，基于深度迁移学习的工业过程监控方法 往往利用源域中的知识来协助目标域中模型的建立。这一过程本质上模仿了人类可以利用从历史经 验中学习到的知识以轻松适应新的场景这一能力。基于此理念，近年来深度迁移学习方法在工业监 控领域中受到了大量关注。在谷歌学术网站1)中分别以 ““deep transfer learning” “fault diagnosis” OR “soft sensor”” 和 ““深度迁移学习” “故障诊断” OR “软测量”” 作为组合关键词进行中英文文献 搜索，可以得到相关领域历年中英文发表文章数量的发展趋势。如图1所示，在过去的五年中，本领 域的相关研究经历了飞速发展，其中，英文文献数量从 2017 年的 4 篇增长至 2021 年的 990 篇，中 文文献数量从 0 篇增长至 28 篇，显示出相关学者对本领域的关注不断提升。当前，国内外学者针 对基于深度迁移学习的故障诊断与软测量问题进行了大量的研究，也有一些工作对相关研究进行了 整理与综述。例如，文献 [23] 根据传统迁移学习中的不同任务场景，将迁移学习分为归纳式、直推 式以及无监督的迁移学习。Tan 等人 [24] 根据在深度迁移学习任务中使用的具体方法不同，将深度 迁移学习进一步分为基于样例、基于映射、基于网络与基于对抗的方法。在机械设备的故障诊断方 面，目前已有若干前人工作 [25,26]。例如，Li 等人 [27] 对深度迁移学习的分类与工业应用场景进行 了总结与综述。此外，针对流程工业的软测量问题，Curreri 等人 [28] 根据迁移学习在不同类型工业 过程中的应用进行了梳理与讨论。Maschler 等人 [29] 对深度迁移学习在工业自动化领域的若干研究 进行了简要回顾，并讨论了该类方法在印刷电路组件制造等任务中的应用。总体来看，目前工业领域中的大多数综述工作主要关注机械设备的故障诊断问题，从深度迁移学习的角度出发对工业监控 中的工业故障诊断与工业过程软测量领域研究进行梳理总结的文章相对较少。基于此，本文面向工 业监控中的两种典型有监督任务，即故障诊断与软测量，对深度迁移学习方法展开了相关综述。其 中，故障诊断和软测量任务一方面对提高系统安全性、提升产品质量有重要意义；另一方面其建模 往往基于工业过程历史运行过程中积累的有监督样本，属于工业监控中有监督学习的典型代表。此 外，在这两个场景中的深度迁移学习相关研究也在近年来获得了大量学者的研究关注，属于工业监 控领域的热门研究方向之一。

本文的结构框架如图2所示。首先，对基于深度迁移学习的工业监控方法现状进行介绍。其中， 首先对深度迁移学习进行概述，进而将面向工业监控典型监督任务的深度迁移学习方法分为三个类 别，即基于模型、基于样例与基于特征迁移的工业监控方法。在每种类别下分别对故障诊断与软测 量两种应用场景进行介绍。其次，从跨域工业监控中的复杂欠数据问题、可迁移性的量化与负迁移 问题，以及工业过程的动态特性问题等角度，对当前基于深度迁移学习的工业监控方法所面临的挑 战进行了分析。最后对本领域的未来研究方向，包括多源信息融合的跨域工业监控以及语义知识与 数据联合驱动的跨域工业监控做出进一步展望。

**基于深度迁移学习的工业监控方法总结 **

在本小节中，将基于模型迁移、基于样例迁移与基于特征迁移的工业监控方法的应用任务、典 型工作、方法特点与适用场景总结于表1中。如表所示，总体来看，基于模型迁移的工业监控方法往 往要求目标域中包含少量标注数据。若源域中包含充足标注数据，即可基于源域工况建立基础模型； 反之，可利用 ImageNet 预训练模型或计算仿真等方式实现源域模型的构建。对于样例迁移类方法， 往往针对源域与目标域均具有标注样本的情况，通过对源域与目标域数据进行权重学习，从而实现 可迁移样例的挖掘。此外，样例迁移学习对域间差异较大或不同域间具有不同故障标签空间的场景 较为适用。最后，基于特征迁移的工业监控方法相较于其余两类方法，在近年来获得了更多的研究 关注。该类方法目前的主流方式是通过利用域差异度量指标或域对抗训练的方式进行迁移，较适用 于目标域中只有无标注样本的场景。