【泡泡一分钟】将背景带入前景：在弱监督的视频语义分割中使所有类相等（ICCV2017-221）

会员服务 ·

【泡泡一分钟】将背景带入前景：在弱监督的视频语义分割中使所有类相等（ICCV2017-221）

2018 年 12 月 3 日 泡泡机器人SLAM

每天一分钟，带你读遍机器人顶级会议文章

标题：Bringing Background into the Foreground: Making All Classes Equal in Weakly-supervised Video Semantic Segmentation

作者：Fatemeh Sadat Saleh, Mohammad Sadegh Aliakbarian, Mathieu Salzmann, Lars Petersson, Jose M. Alvarez

来源：International Conference on Computer Vision (ICCV 2017)

编译：王嫣然

审核：陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

像素级注释昂贵且耗时。因此，仅使用图像标记的弱监督可能对语义分割产生重大影响。近年来，无论是单个图像还是视频，弱监督语义分割都取得了很大进展。然而，大多数现有方法都只为处理单个背景类而设计。在实际应用如自主导航中，对多个背景类进行推理通常至关重要。

本文介绍了一种利用分类器热图进行分类的方法。利用外观和运动开发了一个双流深度架构，并设计了一个基于热图的损失函数对该架构进行训练。实验证明本文所提出的分类器热图和双流架构在具有挑战性的城市场景数据集与YouTube-Objects基准测试中具有优势，并获得了最优结果。

图1.框架概述。在只提供视频级标签的情况下，弱监督视频语义分割网络联合利用分类器热图和运动信息来建模多个前景类与背景类。与大多数只关注前景类的方法不同，因此不适用于区分后台类非常重要的场景，如自动驾驶。

图2. CityScapes数据集的一些前景与背景分类器热图。这些热图很好的指示了前景实例和背景区域的位置。

图3. 网络结构。本文所提出的双流语义分割网络利用图像和光流提取特征。这些特征融合在两个阶段。分别为将空间和时间信息对应起来的早期可训练融合，以及将得到的时空流与用于最终预测的外观流合并的晚期融合。

Abstract

Pixel-level annotations are expensive and timeconsuming to obtain. Hence, weak supervision using only image tags could have a significant impact in semantic segmentation. Recent years have seen great progress in weakly-supervised semantic segmentation, whether from a single image or from videos. However, most existing methods are designed to handle a single background class. In practical applications, such as autonomous navigation, it is often crucial to reason about multiple background classes. In this paper, we introduce an approach to doing so by making use of classifier heatmaps. We then develop a two-stream deep architecture that jointly leverages appearance and motion, and design a loss based on our heatmaps to train it. Our experiments demonstrate the benefits of our classifier heatmaps and of our two-stream architecture on challenging urban scene datasets and on the YouTube-Objects benchmark, where we obtain state-of-the-art results.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/