【泡泡一分钟】SegFlow：视频目标分割和光流的联合学习(ICCV2017-67)

每天一分钟，带你读遍机器人顶级会议文章

标题：SegFlow: Joint Learning for Video Object Segmentation and Optical Flow

作者：Jingchun Cheng, Yi-Hsuan Tsai , Shengjin Wang, Ming-Hsuan Yang

来源：International Conference on Computer Vision (ICCV 2017)

播音员：郭晨

编译：王少博 周平(72)

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

       

       这篇文章提出了一个端到端的训练网络SegFlow，用于同时预测视频中像素目标的分割和光流。segflow这个网络有两个分支，他可以使得有用的目标分割信息和光流在一个统一的框架内双向传播。其中目标分割这一模块是基于全卷积神经网络的，已经在图像分割任务中被证明是十分有效的，另外光流这一分支主要是采用了FlowNet这一模型。

       这一统一的框架主要是通过离线迭代的方式训练来学习一般性的概念，之后再通过对特定物体的在线学习进行微调。通过对大量数据集的实验表明，光流对目标分割的表现提供了帮助，反之亦然，这一点区别于现在一些主流的算法。

       上图主要展示了Segflow方法的优良特性。作者的模型比起那些没有使用光流特征的方法，目标分割效果更好，更完整。

这是本文提出的segflow训练模型架构。这个结构主要包括两个分支，一是分割网络，全卷积神经网络的ResNet-101；二是光流网络，FlowNetS。为了使两分支可以互相通信，我们在上采样阶段为其建立了通信的桥梁，尤其是使用多尺度特征图的双向传播机制。

Abstract    

This paper proposes an end-to-end trainable network, SegFlow, for simultaneously predicting pixel-wise object segmentation and optical flow in videos. The proposed SegFlow has two branches where useful information of object segmentation and optical flow is propagated bidirectionally in a unified framework. The segmentation branch is based on a fully convolutional network, which has been proved effective in image segmentation task, and the optical flow branch takes advantage of the FlowNet model. The unified framework is trained iteratively offline to learn a generic notion, and fine-tuned online for specific objects. Extensive experiments on both the video object segmentation and optical flow datasets demonstrate that introducing optical flow improves the performance of segmentation and vice versa, against the state-of-the-art algorithms.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com