【ECCV2020】EfficientFCN：语义分割中的整体引导解码器

这篇文章收录于ECCV2020，主要的思想是在解码器环节生成了codebook，并对codeword进行了编码，以此来捕获全局的上下文信息，整体实现思路很新颖，感觉可以看作是一种与nlp思想的结合。整体性能表现较好，运算量也较低，基本做到了性能和效率的平衡。

论文地址：http://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123710001.pdf

通常而言，性能和效率对语义分割同样很重要。最新的语义分割算法主要基于空洞卷积的全卷积网络（dilatedFCN），该网络在主干网络中采用空洞卷积来提取高分辨率的特征图以实现高性能的分割性能。但是，由于高分辨率特征图上进行了许多卷积运算，因此这种基于FCN的空洞卷积方法导致较大的计算复杂性和内存消耗。为了平衡性能和效率，出现了编码器-解码器结构，主要融合来自编码器的多级特征图来逐渐恢复空间信息。然而，现有的编码器-解码器方法的性能远不能与基于空洞卷积的FCN的方法相媲美。在本文中，提出了一种Ef-ficientFCN方法，其主干网络是一个普通的ImageNet预训练网络，没有使用任何空洞卷积。另外，在网络中引入了整体引导（holistically-guided ）的解码器，以通过编码器的多尺度特征获得高分辨率的语义丰富的特征图。解码任务被转换为新的codebook生成（codebook generation）和codeword汇编（ codeword assembly）任务，这利用了编码器的高层和低层特征。这样的框架仅以1/3的计算成本即可达到与最新方法相当甚至更好的性能。实验部分，在PASCAL Context，PASCAL VOC，ADE20K数据集上进行了大量实验验证了所提出的EfficientFCN的有效性。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“EFCN” 可以获取《【ECCV2020】EfficientFCN：语义分割中的整体引导解码器》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源