CVPR 2019 | 惊艳的SiamMask:开源快速同时进行目标跟踪与分割算法

2019 年 3 月 9 日 AI100


作者 | 周强(CV君)

来源 | 我爱计算机视觉(公众号id:aicvml)

责编 | Jane


上面这张Gif图演示了 SiamMask 的效果,只需要鼠标滑动选择目标的包围框,即可同时实现目标跟踪与分割。


这种视频里目标的像素级标注,很有用,比如给视频叠加特效可以不覆盖目标人物,或者视频编辑中扣掉特定目标。想想前段时间浙江卫视和北京卫视如果有了这套软件,让某吴姓演员从节目中消失就简单多了,是不是?




近日,CVPR 2019 的接收论文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang开源了这套SiamMask代码,引起了极大关注。我们一起来看看吧。


论文作者信息:



论文作者团队来自中科院自动化所、牛津大学、Five AI公司。

感谢~


研究目的


以往大多数目标跟踪得到的结果是目标的包围框,而作者希望将跟踪与分割结合起来,算法“实时“给出目标的像素级标注。



上图中,左侧是初始化的操作,在视频第一帧给出目标的包围框,右侧的多张图像为普通的跟踪算法计算得到估计的包围框和SiamMask估计的目标的分割mask。

算法原理


作者是在近年出现的 SiamFC 跟踪算法基础上做的改进。


下图展示了其整天算法流程。左侧上面图像为框出来的目标图像,左侧下面图像为要搜索目标位置的视频中的一帧,经过卷积网络,生成Row(response of a candidate window,候选窗口响应),网络后面有三个head,除了在SiamFC法中已经存在的预测box(目标位置)的head和预测响应score(目标出现概率)的head,作者增加了预测目标mask(目标二值掩码)的head。



另外也可以直接去掉预测box的head,提高计算速度,包围框也可以通过mask计算得到。网络结构如下:



下图展示了使用SiamMask算法计算得到的图像中不同位置的score值。


实验结果


作者在VOT-2016、VOT-2018数据集上测试跟踪精度,在DAVIS-2016、DAVIS-2017数据集上测试了目标分割的精度。


下图是与普通的跟踪算法的结果比较:




SiamMask 相比之前的跟踪算法的 state-of-the-art 精度又改进不少。


下图是与现有的视频目标分割算法的精度的比较:



虽然SiamMask精度并不是最高的,但速度却比其他算法快1到2个数量级!在真实应用中更有价值。


下图为mIoU-速度的散点图:



一些视频目标分割示例(请点击查看大图):



重点来了!代码地址:

https://github.com/foolwood/SiamMask


(本文为AI科技大本营转载文章,转载请微信作者)



近期 CVPR 2019 论文解读推荐:


如果你也想分享自己的论文,欢迎投稿,可扫描下方二维码与营长联系:


推荐阅读:

                         

点击“阅读原文”,查看历史精彩文章。

登录查看更多
14

相关内容

【CVPR2020-谷歌】多目标(车辆)跟踪与检测框架 RetinaTrack
专知会员服务
43+阅读 · 2020年4月10日
专知会员服务
109+阅读 · 2020年3月12日
专知会员服务
41+阅读 · 2020年2月20日
近期必读的9篇 CVPR 2019【视觉目标跟踪】相关论文和代码
深度学习视频中多目标跟踪:论文综述
专知会员服务
89+阅读 · 2019年10月13日
重磅!商汤开源目标跟踪最强算法SiamRPN系列
AI前线
13+阅读 · 2019年5月24日
CVPR 2019 Oral 目标跟踪最强算法SiamRPN++开源实现
极市平台
47+阅读 · 2019年5月2日
CVPR2019 | SiamMask:视频跟踪最高精度
计算机视觉life
5+阅读 · 2019年3月10日
【紫冬新作】自动化所提出SiamMask网络,创视频跟踪最高精度
中国科学院自动化研究所
4+阅读 · 2019年3月8日
DaSiamRPN的升级版,视觉目标跟踪之SiamRPN++
极市平台
75+阅读 · 2019年2月20日
深度学习的快速目标跟踪
AI研习社
13+阅读 · 2018年1月8日
Arxiv
7+阅读 · 2018年6月19日
Arxiv
3+阅读 · 2018年3月21日
Arxiv
6+阅读 · 2018年2月8日
Arxiv
7+阅读 · 2018年1月24日
VIP会员
相关资讯
重磅!商汤开源目标跟踪最强算法SiamRPN系列
AI前线
13+阅读 · 2019年5月24日
CVPR 2019 Oral 目标跟踪最强算法SiamRPN++开源实现
极市平台
47+阅读 · 2019年5月2日
CVPR2019 | SiamMask:视频跟踪最高精度
计算机视觉life
5+阅读 · 2019年3月10日
【紫冬新作】自动化所提出SiamMask网络,创视频跟踪最高精度
中国科学院自动化研究所
4+阅读 · 2019年3月8日
DaSiamRPN的升级版,视觉目标跟踪之SiamRPN++
极市平台
75+阅读 · 2019年2月20日
深度学习的快速目标跟踪
AI研习社
13+阅读 · 2018年1月8日
Top
微信扫码咨询专知VIP会员