会员服务 ·

ETH Zurich提出新型网络「ROAD-Net」，解决语义分割域适配问题

2018 年 5 月 3 日 PaperWeekly 杜敏

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。

在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。

点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。

这是 PaperDaily 的第 67 篇文章

本期推荐的论文笔记来自 PaperWeekly 社区用户 @duinodo。本文是 ETH Zurich 发表于 CVPR 2018 的工作，论文提出了两个网络策略，用于处理语义分割任务中使用合成数据训练的域适配问题。

如果你对本文工作感兴趣，点击底部阅读原文即可查看原论文。

关于作者：杜敏，华中科技大学硕士生，研究方向为模式识别与智能系统。

■ 论文 | ROAD: Reality Oriented Adaptation for Semantic Segmentation of Urban Scenes

■ 链接 | https://www.paperweekly.site/papers/1828

■ 作者 | Yuhua Chen / Wen Li / Luc Van Gool

问题背景

本文研究的是无人驾驶场景中的语义分割问题。语义分割的样本标记成本很高，使用合成数据能帮助解决样本不足问题。但是合成的数据和真实的数据之间存在差异，这种差异会极大影响使用合成数据训练的模型在真实数据上的表现。

本文研究难点在于如何处理合成数据和真实数据之间的差异，该问题存在两方面原因：

用合成数据训练的模型，很容易对合成数据过拟合，对合成数据可以提取很好的特征，而对真实数据就提取不到特征了；
合成数据和真实数据的分布存在明显的差异，而模型对合成数据存在偏好。

其实以上两点说的是一点，只不过从两个角度说，这两点分别对应本文设计的两个子模型。

解决思路

本文的主要贡献在于提出了两个网络策略，用于处理语义分割任务中使用合成数据训练的域适配问题。

为了避免模型对合成数据的过拟合，本文使用 Target Guided Distillation Module，让模型模仿真实图片的训练的特征。

为了解决数据分布不一的问题，使用 Spatial-aware Adaption Module，充分考虑两种数据在空间分布上的差异，使得模型在两种数据上能够得到相似的特征。

论文模型

1. Target Guided Distillation

用 ImageNet 训练好的特征提取网络（图中灰色部分）作为 target，让分割模型提取的特征尽可能的像 target 提取的特征，distillation loss 采用欧拉距离计算方法。训练的时候，当输入是真实图片，计算 distillation loss；当输入是合成图片，输出分割的损失。

2. Spatial-Aware Adaption