数据受限条件下的多模态处理技术综述

随着多媒体技术的发展，可获取的媒体数据在种类和量级上都大幅提升。受人类感知方式的启发，多种媒体数据互相融合处理，促进了人工智能在计算机视觉领域的研究发展，在遥感图像解译、生物医学、深度估计等方面有广泛的应用。尽管多模态数据在描述事物特征时有着明显的优势，仍面临着较大的挑战。首先，受到不同成像设备和传感器的限制，难以收集到大规模、高质量的多模态数据集；其次，多模态数据需要匹配成对用于研究，任一模态的缺失都会造成可用数据的减少；同时，图像、视频数据在处理和标注上需要耗费较多的时间和人力成本，这些问题使得目前本领域的技术尚待攻关。本文立足于数据受限条件下的多模态学习方法，根据样本数量、标注信息、样本质量等不同的维度，将计算机视觉领域中的多模态数据受限方法分为小样本学习、缺乏强监督标注信息、主动学习、数据去噪和数据增强 5 个方向，详细阐述了各类方法的样本特点和模型方法的最新进展。并且，介绍了数据受限前提下的多模态学习方法使用的数据集（包括SUNRGB+D、SYSU-MM01 等）及其应用方向（包括人体姿态估计、行人重识别等），比对分析了现有算法的优缺点以及未来的发展方向，对该领域的发展具有积极的意义。

模态是事物的一种表现形式，是对事物某特 定角度的描述。多模态通常包含两个或者两个以 上的模态形式，是指从多个视角出发对事物进行 描述。人们在感知世界时，多种感官总是同时接 收外在信息，如看见图像、听见声音、闻到气味 和触摸感知等。随着多媒体技术的发展，可获取 的媒体数据在种类和量级上都大幅提升。例如， 传感器不仅可以生成图像或者视频，还包含与之 匹配的深度、温度信息等。为使人工智能技术更 好地解译数据，必须使人工智能具有多模态学习 的能力。在人工智能技术的早期研究中，学者通常使 用单一模态的数据。受到人类感知方式的启发， 研究认为每个模态对事物的描述具有相对独立性， 使用多模态数据的互补表述能够使事物呈现更立 体、表现更全面(Baltrušaitis 等,2019)。近年来，多模态数据的处理和应用成为重点研究方向，在情感分析、机器翻译、自然语言处理和生物医学等前沿方向取得了重要突破。计算机视觉是深度学习的重要应用领域和热点研究问题，本文重点围绕多模态在计算机视觉领域的发展进行介绍。如图 1 所示，计算机视觉领域内的多模态学习主要是通过对图像、视频等多模态数据进行分析，学习并互补不同模态间的信息，实现图像检测识别、语义分割、视频动作预测等任务(Liu等,2015a; Eigen 和R. Fergus, 2015)，并广泛应用于自动驾驶、农业监测、生物医疗、交通管理和灾难预测等领域。如在医学领域，医学影像作为医疗诊断的重要依据，相较于单角度描述病灶特征的图像，多模态医疗影像能有效辅助医生从多个层面联合判断病灶及其周边部分，加快诊断时间；在遥感领域，单传感器依据设备特点从某种固定的角度描述地理目标，独立分析时会受到成 像原理限制，而对不同成像方式、不同传感器获取 到的多模态遥感影像进行分析，可以有效提取地物 目标的综合信息。

尽管多模态数据在描述事物特征时有着明显的 优势，但目前仍面临着较大的挑战。首先，虽然成 像技术层出不穷，但其同步带来的图像、视频数据 的处理和标注任务有着不容忽视的工作量，需要耗 费较多的时间成本和人力资源。其次，传统深度学 习模型需要将多模态数据匹配成对用于研究，任一 模态的缺失都会造成可用数据的减少。同时，由于 使用目的是利用多模态互补的特性，因此对数据内 部的完整度要求较高，但受到不同成像设备和传感 器的限制，数据量少、质量模糊和缺失现象严重， 这些现象都会对后续的研究造成不利影响。因此， 在数据受限的前提下进行的多模态处理研究具有重 要的现实意义。面对以上的难点问题，根据多模态样本数量、 标注信息、样本质量等不同的维度，目前处理多模 态数据受限的方法主要分为以下几类：

1. 小样本学习方法。在多模态数据不足的情 况下，小样本学习方法仅通过学习少量样本就能做 出正确判断的认知能力，在数据量匮乏的情况下仍 能够有效地学习目标特征。
2. 缺乏强监督标注信息的方法。由于数据标 注过程会产生高额的成本，较难获取所有模态的全 部真值标签对模型进行强监督学习。常见的非完全 监督的方法有基于弱监督、无监督、半监督、自监 督的学习方法，这些方法可以有效改善模态缺乏标 注信息的问题，大大减少人工标注成本。
3. 主动学习方法。该类方法通过设计具有自 主学习能力的模型，将人类经验与学习规则充分结 合，致力于研究如何使用标注尽可能少的样本来获 得尽可能较好的效果。通过选择最有用的样本，可 以在保持性能的同时有效降低标注成本。
4. 数据去噪方法。在多模态数据的获取和处 理的过程中，外界环境和设备内部因素都可能会引 入噪声。任何模态的数据受到噪声污染都可能会影 响多模态数据处理的结果。多模态数据去噪是指减 少数据中的噪声，恢复原始数据，进而再提取感兴 趣的信息。
5. 数据增强。在样本较少的前提下，为进行 有限多模态数据的充分利用，数据增强方法通过对 原始数据集进行一系列变换操作，扩张数据的可使用性。

本文主要对数据受限下的多模态数据处理方法进行综述。在此之前，本文作者对相关领域进行了研究，在多模态学习、小样本学习、弱监督学习、主动学习、数据去噪和增强等方面进行了深入调研。Baltrušaitis 等人(2019)从整体的角度探讨了多模态机器学习的进展，并对多模态机器学习方法进行分类，但没有介绍具体的应用场景。Wang 等人(2020b)从网络架构的角度介绍了多模态模型，但没有讨论多模态数据本身的特点。Ramachandram等人(2017)对多模态深度学习现状进行了总结，并提出网络体系结构的设计应该考虑融合模式、模态信息和对缺失的数据或模态的处理，但没有详细综述目前处理缺失数据以提高模型的鲁棒性的方法。Gao等人(2020)总结了具有代表性的处理异构数据的深度学习网络架构，并认为一些深度学习模型只关注单模态噪声数据，未来迫切需要解决针对低质量多模态数据的深度学习模型。上述的综述缺乏对数据受限条件下多模态数据发展的详细介绍。Wang等人(2020a)综述了近年来小样本学习方法的进展，并进行统一分类。Zhou 等人(2018)综述了弱监督学习的一些研究进展。Settles 等人(2011)回顾了将主动学习应用于实践遇到的挑战，并介绍为解决挑战所做的工作。但上述文献都仅基于单模态数据进行总结，并没有关注多模态数据背景问题。针对在数据受限条件下多模态数据处理面临的各种挑战和难题，已有研究者提供了一些解决思路，但是尚未形成相关的综述文献。因此，本文总结了数据受限条件下多模态分析处理的研究方法和进展，以及多模态数据在不同领域的应用情况。首先阐述了多模态数据在计算机视觉方向的研究现状与数据受限的难题挑战，介绍了对不同数据受限情况的处理方法，帮助读者熟悉和了解该研究的背景和目的。然后分类阐明不同数据受限处理方法的现状与研究方法，区分不同的受限情况所面临的困难和挑战。最后对多模态数据的各个应用领域的典型数据集进行介绍，总结目前的研究成果，能够启发未来多模态的应用前景，展望下一步研究方向。