Anchor的泛化：统一物体检测、实例分割、姿态估计的Point-set Anchor

2020 年 7 月 9 日 极市平台

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号，回复 加群，立刻申请入群~

作者｜FY.Wei，https://zhuanlan.zhihu.com/p/158054890

本文已获作者授权，不得二次转载。

题目：Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation

To appear in ECCV 2020， MSRA/北京大学

论文链接：https://arxiv.org/abs/2007.02846

我们今年的工作提出了point-set anchor，并尝试了使用regression的思路去统一Object Detection, Instance Segmentation，Pose Estimation三个high-level recognition tasks。

众所周知，在object detection领域，无论是anchor based或者anchor-free based的方法中，其实都是事先定义了物体（bonding box 为GT的表示）的表示形式。anchor based的方法中，如RetinaNet，Faster-RCNN等，是用若干个anchor来表示正样本（IOU大于一定阈值），而anchor-free based的方法中，如CenterNet，FCOS，是用物体的中心点来表示正样本（feature map 的每个点映射回原图落在GT bounding box之中）。不论是anchor based或者anchor-free based的方法，对于正样本在原图的定位，都是基于regression的形式直接回归矩形坐标或者矩形长宽+矩形中心点offset。Anchor从某种程度上来说，表示的只是一种先验信息，anchor可以是中心点，也可以是矩形，同时它还可以提供更多的模型设计思路，如正负样本的分配，分类、回归特征的选择。那么我们的思路是，能不能提出更加general的anchor，泛化的应用于更多的任务中，而不只是Object detection中。

基于这个思路，我们提出了Point-set anchor，是anchor的泛化形式，我们尝试使用提出的point-set anchor，以regression的形式去解决Object Detection, Instance Segmentation，Pose Estimation，其形式如下：

Figure 1

对于Instance Segmentation和Object Detection，使用Figure.1a的Anchor。Object Detection的回归任务比较简单，用中心点或者左上/右下角点回归即可。对于Instance Segmentation来说，我们使用了特定的匹配准则去匹配Point-set anchor中的anchor point和instance GT的polygen point，并且转换为回归任务（详情见paper）：

对于Pose Estimation来说，使用Figure.1b的Anchor。传统的bottom-up pose estimation方法大都是使用了heatmap-> grouping的思路。我们利用Point-set anchor直接将pose estimation转换为一个regression的task。即利用point-set anchor中的point直接回归对应的GT中的pose point。

我们的网络设计也很简洁，没有复杂的设计，直接将Point-set Anchor使用在RetinaNet上，直接注意的是，对于pose estimation task，我们额外使用了一个feature aggregation模块，这个模块的作用在于利用我们提出的Point-set anchor的先验信息，使用DCN来aggregate特定的feature，然后提供更好的feature用于分类回归，而不是简单的单点center feature。

最后对于三个task的性能，我们都是基于RetinaNet来做的，没有额外的设计，在pose estimation上取得了不错的性能，在object detection和instance segmentation也做的比较work（单纯的基于RetinaNet，并且以regression的思路去做）。据我们所知，这也是第一个框架尝试统一Object Detection, Instance Segmentation以及Pose Estimation三大任务。