​【CVPR 2021】半监督视频目标分割新算法，实现SOTA性能

编辑、内容生产、自动驾驶等领域。其中，半监督视频目标分割，是指给定一段视频和第一帧的目标物体，在视频的所有剩余帧中分割出该物体。在一个视频序列中，目标物体往往会因为连续运动和视角变化发生很大的外观改变，包括形变和遮挡。同时视频中往往会有和目标相似的其他物体存在，使得分辨目标更加困难。因此，视频目标分割是一个比较有挑战性的问题，至今还没有很好的解决。

从最近的研究成果来看，Memory-based 的方法是目前 VOS 领域性能表现最佳的一类方法，其代表作是 STM。STM 提出利用过往所有历史帧的信息，对于当前待分割的帧，STM 会将其与所有历史帧在时空域上做一个匹配学习，从而将当前帧的特征和历史帧的特征关联起来，得到了远超之前方法的效果。然而 STM 的分割结果中仍然有很多不足。如下图所示，可以观察到有两个典型的错误现象：

左边一列图中，STM 会倾向于把和目标物体同类别的其他物体也分割出来。右边一列图中，STM 的分割结果中会出现一些错误的碎块。这些错误样本都有一个共同特点，就是其局部像素块的外观特征和待分割目标局部区域的外观特征极为相似。这些 badcase 的现象和 STM 本身的原理是有关联的，因为类似 STM 的 Memory-based 方法，在帧间关系建模上，是均等地在时间和空间域上做了一个特征像素级别的匹配，倾向于找出当前帧和所有历史帧标记 mask 区域的特征相似区域，因此会产生上述 badcase。

为了进一步提升 Memory-based 的 VOS 方法，该研究提出从两个方面去改进：

一、位置一致性。目标物体在视频帧间的运动是遵循一定轨迹的，如果在某一帧的一些位置出现和目标物体相似的同类物体，如果其位置不合理，那么该物体是目标物体的可能性就会降低，不应该被分割。

二、目标一致性。视频目标分割本质上也可以理解为是一个像素级别的物体跟踪。虽然分割是像素级的任务，但 VOS 的处理对象是物体(object)，需要有一个类似图像实例分割中对于物体级别的约束。显然那些错误的碎块分割结果是不满足一个目标物体整体的概念的。

https://www.zhuanzhi.ai/paper/06cfa6f43b8269ce8f4a96da1bd3426d