ACCV 2020 | 左脚踩右脚，目标检测的精度就能上天？一个新的目标检测锚框匹配方法

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

论文已上传，文末附下载方式

本文作者：秋名山车神

https://zhuanlan.zhihu.com/p/260886323

本文已由原作者授权，不得擅自二次转载

论文：https://arxiv.org/abs/2009.14085

https://github.com/ZHANGHeng19931123/MutualGuide

Label assignment是近期目标检测研究的热点（FreeAnchor，ATSS，PAA等）。传统的label assignment规则，不论是对于anchor-based还是anchor-free的检测方法，都是基于人工设定的先验，如RetinaNet是根据predefined anchor box和gt box的IoU，而FCOS是根据gt box的scale加feature point与object center的距离。然鹅这些规则都对物体的content和context不敏感。如上图所示，虽然 anchors A包含了更discriminative的信息（第一行）或排除了周围物体的干扰（第二行），即anchors A实际上更适合匹配为positive samples，但是由于anchors A和anchors B都和gt box有相同的IoU，现有的匹配机制其实无法分辨这些区别。

那么如何才能使anchor的匹配规则对物体的content和context敏感呢？这篇文章提出了一种Mutual Guidance（以下简称MG）的机制。我们知道，物体检测包含了定位和分类两个子任务，而MG就是利用这两个任务间的相互指导，即根据定位任务的预测动态的匹配分类任务的标签（localize to classify），反之亦然（classify to localize）。具体来说，对于分类任务而言，positive samples是定位任务预测得相对准确的anchors，因为这些anchors必然包含了discriminative的信息才能准确地定位物体；而对于定位任务而言，positive samples则是分类相对准确的anchors，原因与上条相同。那么为什么不可以直接根据本任务的预测assign本任务的label呢？这个我已经测试过了，是不行的。我猜想是因为任何一个任务的预测都是包含噪声的，而直接根据本任务的预测定义本任务的标签会放大这种噪声导致训练效果不佳。

MG机制会导致一个有趣的现象，即定位任务的标签和分类任务的标签可能会不一致。比如一个anchor的分类预测很好但是定位预测很差，那么他的定位标签为positive而分类标签是negative，即这个anchor的label既正（定位）又负（分类）。这表面上看上去很不合理，但是却可以解决目标检测领域的另一个问题：由于在传统的anchor匹配方法中，定位任务与分类任务是各自独立的优化的，导致他们在测试时会有预测不一致的问题。（比如一个物体对应了三个适合检测的anchor，第一个anchor分类预测地很好但是定位很差，第二个anchor定位预测的很好但是分类预测很差，第三个anchor两项任务都不错但是分类分数比第一个anchor略低，由于NMS只会保留分类分数高的结果，第二和第三个anchor都会被抑制掉。）MG机制会强制每个anchor输出一致的预测结果：既然你定位很准确，那你的分类也必须准确；既然你定位是错的，那就必须分类成背景；既然你分类是正确的，那定位也得跟上；既然你分类成背景，那定位也没必要优化了（反正会被NMS抑制掉）。在MG的加持下，目标检测在高IoU thresh下的精度（如AP75）就会大大提升（主要因为网络不再输出高分类分数但是定位的不咋地的结果了）。

实验结果（具体地实验细节请参见原文）：

PASCAL VOC数据集

MS COCO数据集

(服务器同事在用，所以有些数据暂时测不到，可能以后会更新)

MG只是一种锚框匹配的思想，理论上可以应用于任何检测器（只要这个检测器包含定位和分类功能）。例如，将MG机制应用于ATSS也会得到相应提升：

(我用的是单卡训练，所以可能和原作者8卡训练的结果稍有差别)

总结: 这篇文章提出了一种根据物体检测中定位与分类任务地相互指导进行label assignment的思想，这种匹配机制对物体地content和context敏感并解决了测试阶段定位与分类任务预测不一致的问题。

论文下载

在CVer公众号后台回复：MG，即可下载本论文

资料下载

在CVer公众号后台回复：目标检测二十年，即可下载39页的目标检测最全综述，共计411篇参考文献。

下载2

后台回复：CVPR2020，即可下载代码开源的论文合集

后台回复：ECCV2020，即可下载代码开源的论文合集

后台回复：YOLO，即可下载YOLOv4论文和代码

重磅！CVer-目标检测 微信交流群已成立

扫码添加CVer助手，可申请加入CVer-目标检测 微信交流群，目前已汇集4100人！涵盖2D/3D目标检测、小目标检测、遥感目标检测等。互相交流，一起进步！

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加群

▲长按关注我们

整理不易，请给CVer点赞和在看！