全景分割研究综述

2020 年 12 月 25 日 专知

在计算机视觉领域，全景分割是一个新颖且重要的研究问题，它是机器感知、自动驾驶等新兴前沿技术的基石，有着十分重要的研究意义. 本文综述了基于深度学习的全景分割研究的最新进展，总结了全景分割任务的基本处理流程，并对已发表的全景分割工作基于其网络结构特点进行分类，并作了全面的介绍与分析，最后对全景分割任务目前面临的问题以及未来的发展趋势做出了分析，并针对所面临的问题提出了一些切实可行的解决思路.

全景分割[1]是将图像划分为语义区域(stuff)和对象实例(things)的任务，是近年来新兴起的一个研究方向，也是计算机视觉中一个重要的研究问题. 随着图像处理技术的发展，数字图像已经成为日常生活中不可缺少的媒介，每时每刻都在产生图像数据. 对图像中的物体进行快速准确的分割变得愈发重要.

全景分割包含语义分割和实例分割两大任务. 语义分割是将类别标签按图像中物体类别分配给每个像素，即将输入图像中的像素分为不同的语义类别. 传统的语义分割方法多数基于模型驱动，模型驱动方法可分为生成式和判别式[2] . 生成式模型首先学习图像的特征和标签概率，然后计算输入图像特征时各个标签的后验概率，依据此概率对图像进行标注. 马尔科夫随机场(Markov Random Field, MRF)是一种应用广泛的生成式模型[3]，它利用先验上下文信息和训练得到的结果，提高分割性能. 但是当图像较大时，分割速度和精度会大幅下降. 判别式模型假设图像特征与标签之间存在某种映射关系，然后从历史数据学习该映射关系的相关参数 [2] . 典型的判别式模型包括支持向量机(Support Vector Machine, SVM)、条件随机场(Conditional Random Field, CRF)等. SVM 因其可处理非线性且具有良好的泛化能力，在语义分割研究中得到了广泛应用[3]. CRF 不仅可以利用图像上下文信息，还可学习从局部到全局的上下文信息，已经成功应用于图像标记[4] . 然而，判别式模型存在收敛速度慢无法解决存在隐变量的情况等不容忽视的问题.

近年来，随着硬件计算能力的提高，语义分割得到快速发展. 随着全卷积网络(fully convolutional network, FCN)的出现[5]，深度学习推动语义分割任务快速发展，并且在自动驾驶、人脸识别等领域得到应用.

实例分割实质上是目标检测和语义分割的结合，目的是将输入图像中的目标检测出来，并且对每个像素分配类别标签. 实例分割能够对前景语义类别相同的不同实例进行区分，这是它与语义分割的最大区别. 相比语义分割，实例分割发展较晚，因此实例分割模型主要基于深度学习技术，但它也是图像分割一个重要的组成部分. 随着深度学习的发展，实例分割相继出现了 SDS [6]、DeepMask [7]、 MultiPath Network [8]等方法，分割精度和效率逐渐得到提升.

全景分割是语义分割和实例分割的综合. 全景分割任务不仅要求区分输入图像中的背景语义类别和前景语义类别，还要将同一类别前景语义中的不同实例分割出来，因此全景分割任务比语义分割、实例分割任务的难度更高. 全景分割由 Kirillov 等人[1]于 2018 年提出，已经得到计算机视觉学界的高度重视，涌现出 JSIS-Net[9]、TASCNet[10]、AUNet[11] 等方法，显著推动了全景分割的发展. 但是在真实环境下，全景分割经常遇到以下挑战：

(1) 分支融合冲突

全景分割任务是语义分割与实例分割两个任务的综合，在网络结构方面，现有大部分方法将输入图像的特征输入到语义分支与实例分支，然后融合两个分支的输出，得到全景输出. 但是在融合时会出现像素分配冲突，影响全景预测质量.

(2) 小物体检测分割数据集中的图像会出现大小、距离不一的许多物体，对于大物体，诸多全景分割方法能够对其进行准确分割，当小物体出现时，经常伴随被忽略或者分割不准确的问题，这导致全景分割精度较低，直接增加了全景分割的难度.

(3) 分割对象交叠在图像采集过程中，会因为季节、天气、光照、距离等条件的变化，出现不同的场景，图像中物体会出现遮挡交叠等情况，这使得分割方法无法准确判断像素的归属，导致分割不精确. 为了克服上述挑战，已经出现了一些全景分割方法，它们在分支融合、小物体检测、遮挡处理方面提出了不同的应对策略，在一定程度上解决了这些问题.

本文首先介绍全景分割的流程，然后重点介绍深度学习在全景分割领域的研究进展. 本文内容安排如下：第 1 节介绍全景分割的基本流程；第 2 节对语义分割、实例分割等相关知识以及全景分割数据集进行介绍；第 3 节介绍深度学习在全景分割领域的研究进展；第 4 节讨论全景分割研究面临的挑战，并对今后的发展趋势进行展望；第 5 节对本文进行总结.

专知便捷查看