本文是对我们 NeurIPS 2021 接收的 spotlight 文章 Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation - PCAN 的介绍，同时也分享一下我们对自动驾驶场景中高效快速地进行时序建模和多物体追踪分割的思考。
此外，深度学习模型的训练和评估离不开大型数据集的支撑，欢迎大家关注由 ETH Zurich & UC Berkeley 推出的学术界最大规模的自动驾驶多目标跟踪和分割（MOTS）数据集 - BDD100K Tracking and Segmentation（BDD100K，Overview - EvalAI）。
BDD Tracking Segmentation 数据集的规模是 KITTI-MOTS 的 6 倍（3,0817 vs 5,027 training images, 480K vs 26K instance masks），标注物体数量是 KITTI 的近 20 倍，并覆盖白天、夜间、 雨雪等更为丰富真实的自动驾驶场景。
▲ Prediction results of PCAN on BDD100K - Day
▲ Prediction results of PCAN on BDD100K - Night
https://arxiv.org/abs/2106.11958
项目主页及视频资源：
https://www.vis.xyz/pub/pcan/
开源代码及模型：
https://github.com/SysCV/pcan
Bilibili视频：
https://www.bilibili.com/video/BV1Rb4y1i7zS?spm_id_from=333.999.0.0
引言
1.1 背景
多目标跟踪和分割（MOTS），是自动驾驶和视频分析等许多实际应用中的一个重要问题。该任务需要将视频中给定的类别的所有物体进行检测、分类、跟踪和像素级分割。在自动驾驶场景中，复杂的路况、市区内密集且相似的车辆和行人、以及对低功耗低延时（low computation & low memory cost & online）的预测需求又给这一任务带来了新的挑战。由于引入了大规模数据集，如 BDD100K、KITTI 等作为深度学习模型训练和测试基准，对 MOTS/VIS 的研究兴趣正迅速增长。
MOTS 的大部分 online 方法（MaskTrack R-CNN、SipMask 等）主要遵循基于检测的跟踪范式（tracking-by-detection paradigm）。首先在单张图片内检测和分割对象，然后是帧之间的关联。尽管这些方法已取得较好的结果，但在对时序建模上仅限于物体关联阶段，并且仅在两个相邻帧之间。
另一方面，时间维度包含关于场景的丰富信息，同一物体的不同时间下多个角度的视图可以提高预测的物体分割、定位和类别的质量。然而，高效地利用历史信息（memory information）仍然是一个挑战。
虽然基于注意力机制的时序建模方法（包含 Self-Attention, Non-local Attention 和 Transformer 等）已应用于视频处理，但它们通常直接对高分辨率的深度特征图进行操作。长时间序列上的密集的像素级注意力操作会产生对长度的二次复杂性（quadratic complexity），进一步带来巨大的计算负担和 GPU 内存消耗（例如 VisTR 等），也极大地限制了它们的实际应用。
PCAN 提出了一种简单高效地利用视频时序信息的机制，通过对目标物体及过去帧的外观特征做高斯混合建模，得到数量较少且低秩（sparse and low-rank）的 representative mixture prototypes（可以理解为多个不同的 cluster centers），实现了对历史信息（memory bank）的压缩。
这一操作在降低 attention 运算复杂度和内存需求的同时, 也提高了视频物体分割的质量和追踪的稳定性。PCAN 包括帧级（frame-level module）和实例级（instance-level module）两个模块的 prototypical cross-attention，前者重构过去帧的深度特征并将其与当前帧对齐，而后者聚焦于视频中的被追踪物体。
为了增强对物体外观随时间变化的鲁棒性，PCAN 通过对比学习（contrastive learning）的机制分别使用foreground/positive 和 background/negative prototypes（前景和背景原型）来进一步表示每个对象实例，并且将这些 prototypes 以在线方式传播更新（online updating）。由于每个实例或帧的 prototypes 数量有限，PCAN 在视频中具有时间线性复杂度的高效地执行远程特征聚合和传播。
方法概述
PCAN 首先将历史信息（memory bank）中的高分辨率（
）特征压缩到帧级和实例级的原型（prototypes）中，然后通过 prototypical cross-attention 操作，从由 prototypes 组成的 space-time memory bank 中去提取和利用过去帧中包含的丰富的 appearance，texture and shape information 等等。
Traditional cross-attention in space-time：
Prototypical cross-attention in space-time：
Memory bank 中 prototypes 的数量
，这有效地避免了对整个高分辨率的历史特征做逐像素密集的 attention 操作。PCAN 采用高斯混合模型（Gaussian Mixture Models, GMM）来进行无监督特征聚类，并选取 EM（Expectation-Maximization）迭代算法的得到的高斯分布拟合聚类中心作为 prototypes。其中，每个像素特征点到 prototype 中心
的距离定义为
。更为详细的公式讲解请参考我们的文章。
▲ PCAN Framework- Overview
对于 memory bank 中的帧特征，我们首先进行基于 GMM 的聚类（高斯分布拟合）以获得 key 和 value prototypes，并根据当前帧的产生的 key 根据 cross-attention weights 将其低秩重建。
▲ Reconstruct frame feature based on prototypes and current frame.
重建的特征
不仅与当前帧
对齐，还通过有限数量的高斯分布拟合去除了特征中冗余信息 （noise reduced），在保持像素点特征空间差异的同时，相似点间的内部差异得到进一步缩小。随后，重建特征与当前帧特征做加权融合，产生的新时序特征用于后续 MOTS 中的分类，检测，分割和追踪等多个子任务。
▲ Overview of our frame-level prototypical cross-attention
对于 MOTS 中感兴趣追踪的物体，我们进一步根据初始的 mask 和 bounding box 对物体做前后背景的区分，前景（黄色区域）建模为 positive instance prototypes，背景建模（蓝色区域）为 negative prototypes。这些 instance specific 的 prototypes 随着时间不断更新，更新机制采用滑动平均来更新，类似于 LSTM 中的 hidden state。
在第 T 帧时，这些 positive 和 negative 的 prototypes 分别产生不同的 attention maps，从中我们也能看出不同 prototype 的关注代表区域。最后我们将初始的物体 mask、产生的 instance attention map、以及融合时序新的 frame feature concat 在一起，通过一个简单的分割 FCN 网络得到最终的 mask 预测。
▲ Updating instance prototypes with time
▲ Our instance-level prototypical attention with foreground and background prototypes and temporal propagation.
实验
PCAN 作为一个 online method 在两个最大规模的 MOTS 数据集 BDD100K 和 Youtube-VIS 上都取得了领先性能。
▲ Comparison on the BDD100K segmentation tracking validation set.
▲ Comparison on the Youtube-VIS validation set.
PCAN 在 Youtube-VIS 的性能随着 memory tube length 和 prototype 数量的变化，从中可看出长时序建模和在一定范围内增多 prototype 数量的带来的性能改善。
▲ Effect of long-term temporal information and prototypes clustering
Prototypical Cross-Attention Visualization
【Instance-level】 对红色虚线框中的汽车的 instance attention 可视化。我们选择前四个前景/背景原型作为示例，其中每个都专注于特定的汽车子区域，例如第一个 prototype 关注于车头的位置，并且这一 attention 分布随着时间的推移具有隐式无监督一致性。
▲ Instance cross-attention maps visualization for the car specified by the red dotted bounding.
对红色虚线框中的行人的 instance attention 可视化：
▲ Prototypical instance cross-attention maps for the pedestrian in the red dotted bounding box.
【Frame-level】 对整张图 frame-level 的可视化，其中我们随机选择了 8 个 frame prototypes 并在图像上显示了它们的注意力分布。显然，每个 frame prototype 都学会对应图像的一些语义概念，涵盖前景和背景区域，例如人、滑板、雨伞和网球拍等等，这些都是通过无监督聚类所学习到的。
▲ Frame-level prototypical cross-attention maps of random frame prototypes for visualization.
BDD100k Instance Segmentation Tracking 竞赛
BDD100K Dataset:
https://www.bdd100k.com/
BDD100K Tracking & Segmentation Learderboard:
https://eval.ai/web/challenges/challenge-page/1295/overview
最后也欢迎大家关注正在进行的 BDD100K Instance Segmentation Tracking 竞赛。如果大家觉得文章内容有帮助，欢迎大家转发，关注我们的工作，star 开源的代码！
[1] BDD100K: BDD100K: A Diverse Driving Dataset for Heterogeneous Multitask Learning:https://arxiv.org/abs/1805.04687
[2] Non-local Neural Networks: https://arxiv.org/abs/1711.07971
[3] EMANet: Expectation-Maximization Attention Networks for Semantic Segmentation:https://arxiv.org/abs/1907.13426
[4] KITTI MOTS: MOTS: Multi-Object Tracking and Segmentation:https://arxiv.org/abs/1902.03604
[5] Space-Time Memory Networks: https://arxiv.org/abs/1904.00607
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读 ，也可以是学术热点剖析 、科研心得 或竞赛经验讲解 等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品 ，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬 ，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱： hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02 ）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」 也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」 订阅我们的专栏吧
微信扫码咨询专知VIP会员