【泡泡一分钟】利用多层超像素进行稀疏标记的语义分割

会员服务 ·

【泡泡一分钟】利用多层超像素进行稀疏标记的语义分割

2019 年 1 月 29 日 泡泡机器人SLAM

每天一分钟，带你读遍机器人顶级会议文章

标题：Semantic Segmentation from Sparse Labeling using Multi-Level Superpixels

作者：I˜nigo Alonso, Ana C. Murillo

来源：2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

编译：王嫣然

审核：颜青松，陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

语义分割是一项具有挑战性的问题，因其提供了图片内容中每一个像素的信息，而使众多机器人应用收益。最近，由于深度学习方法的出现，这个问题的解决方案在性能和结果上都有了提高。遗憾的是，常用的语义分割深度学习模型在许多方面都存在一些问题，阻碍了实际应用。一个重大的问题是需要对大量训练图像进行像素级标记才能训练这些模型，这意味着高昂的成本。

本文提出并验证了一种简单有效的方法，能够从稀疏标记的数据中训练密集的语义分割模型。每个图像仅标记几个像素，减少了所需的人工干涉。我们发现许多可用数据集，例如环境监测数据，提供了这种稀疏标记。基于此，本文提出了自适应超像素分割传播方法用于将稀疏标注增强为稠密标注。实验证明，这种标签增强可以有效地学习最先进的分割模型，并获得与密集地面实况训练模型相似的结果。同时我们也证明了该方法对真实领域（水下，空中和城市场景等）不同的图像模式与公开可用数据集都具有适用性。

图1 机器人平台可以方便地收集不同领域的大量监控数据集。增强稀疏标签可以有效训练语义分割模型，更高效的进行数据标注。

图2 稀疏标签增强以训练密集语义分割模型的方法。给定具有稀疏标签（b）的图像（a），提出的多层超像素传播（c）获得增强的标签（d）。这种增强标记对用于语义分割的全卷积神经网络训练非常有效。

图3 用不同数据集标记增强评估的示例。（a）输入图像，（b）原始密集标记，（c）仅从原始标记像素的0.1％恢复的增强标记。

Abstract

Semantic segmentation is a challenging problem that can benefit numerous robotics applications, since it provides information about the content at every image pixel. Solutions to this problem have recently witnessed a boost on performance and results thanks to deep learning approaches. Unfortunately, common deep learning models for semantic segmentation present several challenges which hinder real life applicability in many domains. A significant challenge is the need of pixel level labeling on large amounts of training images to be able to train those models, which implies a very high cost. This work proposes and validates a simple but effective approach to train dense semantic segmentation models from sparsely labeled data. Labeling only a few pixels per image reduces the human interaction required. We find many available datasets, e.g., environment monitoring data, that provide this kind of sparse labeling. Our approach is based on augmenting the sparse annotation to a dense one with the proposed adaptive superpixel segmentation propagation. We show that this label augmentation enables effective learning of state-of-the-art segmentation models, getting similar results to those models trained with dense ground-truth. We demonstrate the applicability of the presented approach to different image modalities in real domains (underwater, aerial and urban scenarios) with publicly available datasets.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/