【CVPR2022】OSKDet：基于关键点热力图的两阶段旋转检测框架

来源：清华大学电子系媒体大数据认知计算研究中心

研究背景 Background

旋转目标检测主要面向于航拍、文字和机器人抓取检测等，具有重要的研究价值和应用前景。与通用目标检测不同，旋转检测一般通过标准矩形或任意四边形来表示目标，融合方向信息来获得更紧致的目标包围框。随着深度学习技术的发展，近年来基于深度卷积神经网络的旋转目标检测取得了很大进展，在DOTA等数据集上不断刷新成绩，也吸引了越来越多的研究者聚焦于这一领域。

主要成果 Contribution 该论文提出了一个基于关键点热力图的两阶段旋转检测框架，主要贡献有三方面。第一，该论文提出了一种方向敏感热力图，通过融合目标的方向矢量信息，对旋转目标具有更强的表征建模能力；第二，该论文提出了一种无序关键点表示法，消除了由于旋转目标周期性引发的关键点排序混淆性；第三，该论文提出了一个定位分布不确定性模块，通过搭建定位和分类分支之间的桥梁，由定位质量来指导最终分类得分。所提出的方法在多个公开数据集上取得了SOTA的结果。

主要内容 Content OSKDet模型框架如下图所示，整体架构基于Grid RCNN，在一阶段，模型回归出目标的最小外接水平矩形，通过ROI Align提取特征后，在二阶段回归目标旋转框上8个关键点热力图来组成旋转目标。整个模型共包含方向敏感热力图、无序关键点表示以及定位质量不确定性模块等三部分。

方向敏感热力图传统的高斯热力图没有考虑到目标的方向和形状信息，该论文提出了一种方向敏感热力图，通过对高斯热力图进行缩放和旋转，来匹配目标的边缘形状，对目标进行更精准的表征，如下图所示。具体表现为，在目标顶点，生成热力图为旋转十字型；在目标边缘中点，生成热力图为旋转一字型，通过对标准高斯分布的空间变换，在目标边缘方向上，高斯核具有更大的方差，使网络能够更加关注边缘方向上的空间特征。

无序关键点表示在回归关键点的过程中，需要对关键点进行排序。由于旋转目标存在角度的周期性，导致部分排序临界点附近的相似目标在回归时可能具有完全相反的优化方向，造成学习的混淆性。该论文提出了一种无序热力图，与常规的每个通道回归一个关键点热力图方式不同，OSKDet在一个通道上同时回归4个关键点热力图，从而避免了由排序引发的混淆问题。

定位分布不确定性常规的检测框架中，分类和定位分支是独立优化的，输出分类得分不能反映定位质量，该论文提出了一个基于定位分布的不确定性模块，首先将分类的one-hot得分替换为预测框与真实框的IOU分数，并通过两个全连接层作为热力图输出与分类得分间的通道来更好的预测分类得分。卷积定位分支的热力图本质上是一个二维高斯分布，可以代表对于每个点定位的质量，通过搭建定位与得分之间的通路有效消除了两个分支的回归差异。