ICML 2021 | 基于装配的视频无监督部件分割

部件分割 (co-part segmentation) 是计算机视觉领域中的一个重要问题。它通过识别图片中目标对象的组成部件 (part) ，并将属于每个部件的像素聚类到一起，可以为有铰链结构的物体提供较为紧凑且有意义的部件结构 (part-structure) 表示。它可以应用于运动追踪、动作识别、机器人操纵以及自动驾驶等具体任务，因而具有重要的研究价值。

随着深度学习的发展以及大量的标注数据集的出现，基于监督的学习方法已经在包括部件分割在内的很多视觉问题上超越了传统的方法。但这类学习方法往往需要大量的先验知识，并且高度依赖高质量数据集标注，较难应用到未曾见过的物体上。

在本项研究中，我们提出了一种无监督的图像部件分割方法，创新性地采用了将部件分割过程和部件装配过程相结合的自监督学习思路，利用视频中的运动信息来提取潜在的部件特征，从而实现对物体部件的有意义的分割。我们通过在人体、人手、四足动物、机械臂等不同研究对象的视频上的测试，证明了这一无监督图像部件分割方法有效性。同时，定量实验的对比也表明该方法的效果优于现有的基于无监督学习的工作，达到了较高的水平。