基于深度学习的实时语义分割综述

语义分割作为计算机视觉领域的重要研究方向之一，应用十分广泛，其目的是根据预先定义好的类别对输入图像进行像素级别的分类，实时语义分割则在一般语义分割的基础上又增加了对速度的要求，被广泛应用于如无人驾驶、医学图像分析、视频监控与航拍图像等领域。其要求分割方法不仅要取得较高的分割精度，且分割速度也要快。随着深度学习和神经网络的快速发展，实时语义分割也取得了一定的研究成果。本文在前人已有工作的基础上对基于深度学习的实时语义分割算法进行系统地归纳总结，特别是最新的基于transformer和剪枝的方法，全面介绍实时语义分割方法在各领域中的应用。本文首先介绍实时语义分割的概念，再根据标签的数量和质量，将现有的基于深度学习的实时语义分割方法分为强监督学习、弱监督学习和无监督学习三个类别；在分类的基础上，结合各个类别中最具有代表性的方法，对其优缺点展开分析，并从多个角度进行比较。随后介绍目前实时语义分割常用的数据集和评价指标，并对比分析各算法在各数据集上的实验效果。阐述现阶段实时语义分割的应用场景。最后，讨论了基于深度学习的实时语义分割存在的挑战，并对实时语义分割未来值得研究的方向进行展望，为研究者们解决存在的问题提供便利。