【CVPR2022】循环动态嵌入的视频目标分割

基于时空记忆(STM)的视频目标分割(VOS)网络通常每隔几帧不断增加存储库，表现出良好的性能。然而，1)随着视频长度的增加，硬件无法承受不断增长的内存需求。2)存储大量的信息不可避免地会引入大量的噪声，这不利于从存储库中读取最重要的信息。在本文中，我们提出一种循环动态嵌入(RDE)来建立一个固定大小的存储库。具体来说，我们通过提出的时空聚合模块(SAM)显式地生成和更新RDE，该模块利用历史信息的线索。为了避免重复使用SAM造成的误差积累，我们在训练阶段提出了无偏导损失，这使得SAM在长视频中更稳健。此外，由于不准确的网络推断，在内存库中预测的掩码是不准确的，影响了查询帧的分割。为了解决这一问题，我们设计了一种新的自校正策略，使网络能够修复存储库中不同质量的掩模嵌入。大量实验表明，我们的方法在性能和速度之间取得了最好的折衷。代码可在https://github.com/ Limingxing00/RDE-VOS-CVPR2022获得。