终于！DAVIS2017视频目标分割冠军代码开源了

极市平台和图普科技联名推出的AI谜题挑战《The Second Chance》，点击识别文末二维码进入解开AI难度谜题，赢取GPU和极市资源大奖，还有机会获得图普技术offer~小伙伴们快来挑战一下哦~~

为方便大家交流AI谜题相关话题，极市建立了“AI谜题挑战交流群”，有兴趣的小伙伴可添加小助手（cv-mart）申请进群~

来源：我爱计算机视觉

传统视频分割经常依赖于时序连续来生成mask（目标的掩膜），而真实的视频中的目标位置往往存在着一些跳变，比如在目标快速漂移和被遮挡的时候因为较大的位移而使得这种假设目标运动连续的算法失败。为了克服这个问题，来自香港中文大学、哈尔滨工业大学和商汤科技公司的研究团队提出了一种更有效的机制，即通过自适应的目标重识别（object re-identification）应对目标丢失。

基于此的目标重识别视频分割（VS-ReID）模型包括目标mask生成模块和ReID模块。mask生成模块通过光流卷曲（flow warping）生成初始的（目标-背景）引导概率图，ReID模块则在视频序列中通过自适应匹配检索丢失的目标实例。这两个模块迭代应用，有效解决了视频分割中突然的目标位移过大带来的丢失，VS-ReID模型在2017 DAVIS视频分割比赛中获得了冠军。

问题描述：给定视频序列和第一帧的标注，输出所有实例后续的mask

困难点：实例分割中小目标和精细的结构与尺度和姿态的变化，跟踪中频繁的遮挡：

应对策略：Mask 生成模块与目标重识别模块

VS-ReID算法总览：

Mask生成模块示图：

通过前后帧的光流再前一帧mask的卷曲，生成引导概率图：

目标重识别模块：

从重识别模块给定的包围盒恢复目标mask:

例子：在第21帧和80帧恢复了两个之前被遮挡的目标：

DAVIS 2017比赛测试集上取得了最好的精度：

一些分割示例：

算法来自论文《Video Object Segmentation with Re-identification》

https://arxiv.org/abs/1708.00197

代码：

https://github.com/lxx1991/VS-ReID

https://liuziwei7.github.io/projects/VSReID.html

*推荐阅读*

语义分割+视频分割开源代码集合

一文概览主要语义分割网络：FCN,SegNet,U-Net...

---

获取更多技术干货资讯，业内大牛学术交流、后续官方谜题直播分享，点击左下角“阅读原文”立刻申请加入“极市&图普AI谜题交流群”群~

ps.已填写过极市开发者调研表的同学请加小助手微信（cv-mart），直接邀请进群~

扫描下方二维码，立解谜题↓↓↓