新杀器来了！Facebook AI提出DETR：用Transformers来进行端到端的目标检测

End-to-End Object Detection with Transformers

论文：https://arxiv.org/abs/2005.12872

代码：https://github.com/facebookresearch/detr

本文已提交至ECCV 2020，作者团队：Facebook AI Research。FAIR提出DETR：基于Transformers的端到端目标检测，没有NMS后处理步骤、真正的没有anchor，直接对标且超越Faster R-CNN，代码刚刚开源！

注：开源24小时，star数已高达700+！

简介

本文提出了一种将目标检测视为direct set直接集合预测问题的新方法。我们的方法简化了检测流程，有效地消除了对许多手工设计的组件的需求，例如非极大值抑制(NMS)或锚点生成，这些组件明确编码了我们对任务的先验知识。

这种称为Detection Transformer或DETR的新框架的主要组成部分是基于集合的全局损失函数，该损失函数通过二分匹配和transformer编码器-解码器体系结构强制进行唯一的预测。给定一个固定的学习对象查询的小集合，DETR会考虑目标对象与全局图像上下文之间的关系，并直接并行输出最终的预测集合。

与许多其他现代检测器不同，新模型在概念上很简单，并且不需要专门的库。DETR与具有挑战性的COCO对象检测数据集上公认的且高度优化的Faster R-CNN baseline具有同等的准确性和运行时性能。此外，可以很容易地将DETR迁移到其他任务例如全景分割。

本文的Detection Transformer（DETR，请参见图1）可以预测所有物体的剧烈运动，并通过设置损失函数进行端到端训练，该函数可以在预测的物体与地面真实物体之间进行二分匹配。DETR通过删除多个手工设计的后处理过程例如nms，对先验知识进行编码的组件来简化检测流程。与大多数现有的检测方法不同，DETR不需要任何自定义层，因此可以在包含标准CNN和转换器类的任何框架中轻松复制。

DETR的主要特征是二分匹配损失和具有（非自回归）并行解码的Transformer的结合。

参考： https://mp.weixin.qq.com/s/b5Ont9vHPeCPnAjuDGv5Bg