编辑、内容生产、自动驾驶等领域。其中,半监督视频目标分割,是指给定一段视频和第一帧的目标物体,在视频的所有剩余帧中分割出该物体。在一个视频序列中,目标物体往往会因为连续运动和视角变化发生很大的外观改变,包括形变和遮挡。同时视频中往往会有和目标相似的其他物体存在,使得分辨目标更加困难。因此,视频目标分割是一个比较有挑战性的问题,至今还没有很好的解决。

从最近的研究成果来看,Memory-based 的方法是目前 VOS 领域性能表现最佳的一类方法,其代表作是 STM。STM 提出利用过往所有历史帧的信息,对于当前待分割的帧,STM 会将其与所有历史帧在时空域上做一个匹配学习,从而将当前帧的特征和历史帧的特征关联起来,得到了远超之前方法的效果。然而 STM 的分割结果中仍然有很多不足。如下图所示,可以观察到有两个典型的错误现象:

左边一列图中,STM 会倾向于把和目标物体同类别的其他物体也分割出来。右边一列图中,STM 的分割结果中会出现一些错误的碎块。这些错误样本都有一个共同特点,就是其局部像素块的外观特征和待分割目标局部区域的外观特征极为相似。这些 badcase 的现象和 STM 本身的原理是有关联的,因为类似 STM 的 Memory-based 方法,在帧间关系建模上,是均等地在时间和空间域上做了一个特征像素级别的匹配,倾向于找出当前帧和所有历史帧标记 mask 区域的特征相似区域,因此会产生上述 badcase。

为了进一步提升 Memory-based 的 VOS 方法,该研究提出从两个方面去改进:

一、位置一致性。目标物体在视频帧间的运动是遵循一定轨迹的,如果在某一帧的一些位置出现和目标物体相似的同类物体,如果其位置不合理,那么该物体是目标物体的可能性就会降低,不应该被分割。

二、目标一致性。视频目标分割本质上也可以理解为是一个像素级别的物体跟踪。虽然分割是像素级的任务,但 VOS 的处理对象是物体(object),需要有一个类似图像实例分割中对于物体级别的约束。显然那些错误的碎块分割结果是不满足一个目标物体整体的概念的。

https://www.zhuanzhi.ai/paper/06cfa6f43b8269ce8f4a96da1bd3426d

成为VIP会员查看完整内容
11

相关内容

专知会员服务
28+阅读 · 2021年5月16日
【CVPR2021】动态度量学习
专知会员服务
35+阅读 · 2021年3月30日
专知会员服务
51+阅读 · 2021年3月17日
视觉目标跟踪十年研究进展
专知会员服务
66+阅读 · 2021年3月10日
专知会员服务
22+阅读 · 2021年2月17日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
34+阅读 · 2021年1月24日
专知会员服务
45+阅读 · 2021年1月19日
专知会员服务
18+阅读 · 2020年12月11日
专知会员服务
5+阅读 · 2020年12月10日
最全综述 | 图像分割算法
计算机视觉life
12+阅读 · 2019年6月20日
目标跟踪算法分类
算法与数据结构
18+阅读 · 2018年9月28日
终于!DAVIS2017视频目标分割冠军代码开源了
极市平台
19+阅读 · 2018年8月3日
一文带你入门视频目标分割(附数据集)
THU数据派
19+阅读 · 2017年10月10日
入门 | 一文概览视频目标分割
机器之心
9+阅读 · 2017年10月6日
论文笔记:多任务相关粒子滤波跟踪器
统计学习与视觉计算组
9+阅读 · 2017年7月7日
Arxiv
4+阅读 · 2018年10月15日
Two Stream 3D Semantic Scene Completion
Arxiv
4+阅读 · 2018年7月16日
Arxiv
6+阅读 · 2018年3月19日
VIP会员
相关VIP内容
专知会员服务
28+阅读 · 2021年5月16日
【CVPR2021】动态度量学习
专知会员服务
35+阅读 · 2021年3月30日
专知会员服务
51+阅读 · 2021年3月17日
视觉目标跟踪十年研究进展
专知会员服务
66+阅读 · 2021年3月10日
专知会员服务
22+阅读 · 2021年2月17日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
34+阅读 · 2021年1月24日
专知会员服务
45+阅读 · 2021年1月19日
专知会员服务
18+阅读 · 2020年12月11日
专知会员服务
5+阅读 · 2020年12月10日
相关资讯
最全综述 | 图像分割算法
计算机视觉life
12+阅读 · 2019年6月20日
目标跟踪算法分类
算法与数据结构
18+阅读 · 2018年9月28日
终于!DAVIS2017视频目标分割冠军代码开源了
极市平台
19+阅读 · 2018年8月3日
一文带你入门视频目标分割(附数据集)
THU数据派
19+阅读 · 2017年10月10日
入门 | 一文概览视频目标分割
机器之心
9+阅读 · 2017年10月6日
论文笔记:多任务相关粒子滤波跟踪器
统计学习与视觉计算组
9+阅读 · 2017年7月7日
微信扫码咨询专知VIP会员