近期必读的5篇顶会CVPR 2021【视觉目标跟踪】相关论文和代码

2021 年 3 月 23 日 专知

【导读】作为计算机视觉领域的三大国际顶会之一，IEEE国际计算机视觉与模式识别会议CVPR（IEEE Conference on Computer Vision and Pattern Recognition) 每年都会吸引全球领域众多专业人士参与。CVPR 2021将在线举行，中国科学院院士、中科院自动化所智能感知与计算研究中心主任谭铁牛将出任大会主席（General Chair，GC），上海科技大学的虞晶怡教授将任程序主席（Program Chair，PC）。今年的CVPR有效投稿多达7500篇，一共有1663篇论文被接收，接收率为27%。

为此，专知小编提前为大家整理了五篇CVPR 2021视觉目标跟踪（Object Tracking）相关论文，让大家先睹为快—— GCN多目标跟踪、概率自回归、旋转孪生网络、3D目标检测和跟踪、在线多目标跟踪

CVPR2021OD 、CVPR2021AR

1. Learning a Proposal Classifier for Multiple Object Tracking

作者：Peng Dai, Renliang Weng, Wongun Choi, Changshui Zhang, Zhangping He, Wei Ding

摘要：最近多目标跟踪（MOT）的趋势正在朝着利用深度学习来推动跟踪性能的方面发展。但是，以端到端的方式解决数据关联问题并非易事。在本文中，我们提出了一个新颖的基于proposal的可学习框架，该模型将MOT建模为proposal生成，proposal评分和affinity图上的轨迹推断范式。该框架类似于两阶段目标检测器Faster RCNN，可以以数据驱动的方式解决MOT问题。对于proposa的生成，我们提出了一种迭代图聚类方法，以降低计算成本，同时保持生成的proposa的质量。对于proposa评分，我们部署了可训练的图卷积网络（GCN），以学习生成的proposa的结构模式，并根据估算的质量得分对它们进行排名。对于轨迹推断，采用一种简单的去重叠策略来生成跟踪输出，同时遵守不能将检测分配给一个以上轨道的约束。我们通过实验证明，相对于以前在两个公共基准上的最新技术，该方法在MOTA和IDF1中均实现了明显的性能改进。

代码：

https://github.com/daip13/LPC_MOT.git

网址：

https://arxiv.org/abs/2103.07889

2. Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking

作者：Fatemeh Saleh, Sadegh Aliakbarian, Hamid Rezatofighi, Mathieu Salzmann, Stephen Gould

摘要：尽管通过联合检测和跟踪实现了多目标跟踪（MOT）的最新进展，但是处理长距离遮挡仍然是一个挑战。这是由于这些技术倾向于忽略长期运动信息。在本文中，我们引入了一种概率自回归运动模型，通过直接测量它们的可能性来对tracklet proposals进行评分。这是我们的模型通过训练来学习自然轨迹的基本分布来实现的。这样，我们的模型不仅能够为现有的轨迹分配新的检测结果，而且还可以在目标长时间丢失时（例如：遮挡），通过采样轨迹以填补错误检测引起的差距。我们的实验证明了我们的方法在具有挑战性的序列中跟踪物体的优越性。在多个MOT基准数据集（包括MOT16，MOT17和MOT20）上，它在大多数标准MOT指标上的表现均优于最新技术。

网址：

https://arxiv.org/abs/2012.02337

3. Rotation Equivariant Siamese Networks for Tracking

作者：Deepak K. Gupta, Devanshu Arya, Efstratios Gavves

摘要：旋转是视觉目标跟踪中长期存在但尚未解决的艰巨挑战之一。现有的基于深度学习的跟踪算法使用常规的CNN，这些CNN本质上是平移不变的，它们并没有解决旋转问题。在本文中，我们首先证明在视频中存在旋转实例时，现有跟踪器的性能会受到严重影响。为了避免旋转的不利影响，我们提出了等速旋转孪生网络（RE-SiamNets），该网络是通过使用包含可控滤波器的等分组卷积层构建的。SiamNets允许以无监督的方式估计目标方向的变化，从而也方便了其在相对2D姿势估计中的使用。我们进一步表明，通过对两个连续帧之间的方向变化施加限制，这种方向变化可以用于在孪生（Siamese）跟踪中施加附加的运动约束。为了进行基准测试，我们展示了旋转跟踪基准（RTB），它是一个包含一组带有旋转实例的视频的数据集。通过对两种流行的孪生体系结构进行的实验，我们证明RE-SiamNets很好地解决了旋转问题，并且性能优于常规同类产品。此外，RE-SiamNets可以以无监督的方式准确估算目标姿势的相对变化，即目标相对于参考框架的平面内旋转。

网址：

https://arxiv.org/abs/2012.13078

4. Center-based 3D Object Detection and Tracking

作者：Tianwei Yin, Xingyi Zhou, Philipp Krähenbühl

摘要：三维目标通常表示为点云中的3D框。这种表示方法借鉴了基于图像的2D边界框检测，但同时其也带来了其他挑战。3D世界中的目标不遵循任何特定的方向，基于box的检测器很难枚举所有方向或将轴对齐的边界框拟合到旋转的目标。在本文中，我们提出将3D目标表示为点，并进行检测和跟踪。我们的框架CenterPoint首先使用关键点检测器检测目标的中心，然后回归到其他属性，包括3D大小，3D方向和速度。在第二阶段，它使用目标上的其他点特征来完善这些估计。在CenterPoint中，3D目标跟踪可简化为贪婪的最近点匹配。这样得到的检测和跟踪算法简单，高效且有效。CenterPoint在nuScenes基准上实现了3D检测和跟踪的最先进性能，单个模型具有65.5 NDS和63.8 AMOTA。在Waymo开放数据集上，CenterPoint大大优于所有以前的单一模型方法，并且在所有仅Lidar提交中排名第一。

代码：

https://github.com/tianweiy/CenterPoint

网址：

https://arxiv.org/abs/2006.11275

5. Track to Detect and Segment: An Online Multi-Object Tracker

作者：Jialian Wu, Jiale Cao, Liangchen Song, Yu Wang, Ming Yang, Junsong Yuan

摘要：大多数在线多目标跟踪器在神经网络中独立执行目标检测，而无需跟踪任何输入。在本文中，我们介绍了一个新的在线联合检测和跟踪模型TraDeS（用于检测和分段的TRack），它利用跟踪线索来辅助端到端检测。TraDeS推断目标跟踪偏移量为成本，用于传播先前的目标特征以改善当前目标的检测和分割。TraDeS的有效性和优越性显示在4个数据集上，包括MOT（2D跟踪），nuScenes（3D跟踪），MOTS和Youtube-VIS（实例分割跟踪）。