【ECCV2020】EfficientFCN：语义分割中的整体引导解码器

通常而言，性能和效率对语义分割同样很重要。最新的语义分割算法主要基于空洞卷积的全卷积网络（dilatedFCN），该网络在主干网络中采用空洞卷积来提取高分辨率的特征图以实现高性能的分割性能。但是，由于高分辨率特征图上进行了许多卷积运算，因此这种基于FCN的空洞卷积方法导致较大的计算复杂性和内存消耗。为了平衡性能和效率，出现了编码器-解码器结构，主要融合来自编码器的多级特征图来逐渐恢复空间信息。然而，现有的编码器-解码器方法的性能远不能与基于空洞卷积的FCN的方法相媲美。在本文中，提出了一种Ef-ficientFCN方法，其主干网络是一个普通的ImageNet预训练网络，没有使用任何空洞卷积。另外，在网络中引入了整体引导（holistically-guided ）的解码器，以通过编码器的多尺度特征获得高分辨率的语义丰富的特征图。解码任务被转换为新的codebook生成（codebook generation）和codeword汇编（ codeword assembly）任务，这利用了编码器的高层和低层特征。这样的框架仅以1/3的计算成本即可达到与最新方法相当甚至更好的性能。实验部分，在PASCAL Context，PASCAL VOC，ADE20K数据集上进行了大量实验验证了所提出的EfficientFCN的有效性。