【CVPR 2022】使用多模态Transformer的端到端视频对象分割，End-to-End Referring Video Object Segmentation with Multimodal Transformer

论文摘要：参考视频对象分割任务(RVOS)涉及在给定视频的帧中分割文本引用的对象实例。由于这个多模式任务的复杂性，它结合了文本推理、视频理解、实例分割和跟踪，现有的方法通常依赖复杂的管道来处理它。在本文中，我们提出了一种简单的基于Transformer器的RVOS方法。我们的框架称为多模态跟踪Transformer(MTTR)，将RVOS任务建模为一个序列预测问题。随着计算机视觉和自然语言处理的最新进展，MTTR基于这样一种实现，即视频和文本可以通过单一的多模态Transformer模型有效而优雅地一起处理。MTTR是端到端可训练的，不需要文本相关的感应偏差组件，不需要额外的掩模改进后处理步骤。因此，与现有方法相比，它大大简化了RVOS管道。对标准基准的评估表明，MTTR在多个指标上显著优于以前的艺术。特别是，MTTR在A2D-Sentences和jhmd - sentences数据集上分别显示了+5.7和+5.0的mAP增益，而每秒处理76帧。此外，我们报告了reference - youtube - vos公共验证集的强劲结果，这是一个更具挑战性的RVOS数据集，尚未得到研究人员的注意。
● 论文视频：https://user-images.githubusercontent.com/29209964/143956960-73e84321-757f-4272-afc5-385900905093.mp4
● 论文链接：https://arxiv.org/abs/2111.14821
● 论文代码：https://github.com/mttr2021/MTTR
● 作者单位：以色列理工学院