用CenterNet对旋转目标进行检测

会员服务 ·

用CenterNet对旋转目标进行检测

2020 年 10 月 2 日 极市平台

↑ 点击蓝字关注极市平台

作者丨不是大叔@知乎

来源丨https://zhuanlan.zhihu.com/p/163696749

编辑丨极市平台

极市导读

作者对CenterNet进行了部分修改，以此进行旋转目标检测。本文介绍了这种工作的代码、数据处理和样例，供读者参考。>>加入极市CV技术交流群，走在计算机视觉的最前沿

前言

前段时间纯粹为了论文凑字数做的一个工作，本文不对CenterNet原理进行详细解读，如果你对CenterNet原理不了解，建议简单读一下原论文然后对照本文代码理解（对原版CenterNet目标检测代码进行了极大程度精简）。

基本想法就是直接修改CenterNet的head部分，但是是直接在长宽图上加一层通道表示角度，还是多引出一路feature-map呢？实测是多引出一张feature map比较好，直接在长宽图上加一层通道很难收敛。具体原因我也是猜测，角度和尺度特征基本无共享特征，且会相互干扰（角度发生些许变化，目标的长宽可能就变了，如果角度是错的，长宽本来是对的呢？反之亦然）引出的feature-map只经历了一层卷积层就开始计算loss，对于这种复杂的关系表征能力不够，可能造成弄巧成拙。网络结构如下：

代码

代码主要分为五个部分：

train.py：模型的训练
predict.py：模型的前向推理
backbone：模型的主干网，给了DLA和ResNet的DCN与普通版本，层数可以自定义
loss.py：模型的损失函数
dataset.py：模型的数据处理

原版CenterNet代码较多，我只需要做目标检测，所以把各种3D检测等都删了，模型架构也拆了只保留了有用部分，方便自己阅读以及魔改。

其次，因为只是加了一个角度检测，所以主要是修改了一下数据处理部分，用的还是VOC格式，只是在.josn文件里面加了一个角度信息，打标签的时候用[0,Π]表示，后续在loss内添加了角度的feature-map损失，用的Smooth-L1 loss，如果你不知道怎么打标签以及处理标签文件，可以在评论区留言或者私信我。

后处理部分把画标准检测框换成了旋转框，计算旋转IOU指标等代码后续会传上去。

数据处理

画旋转框，修改主干网与损失函数，代码里面都有。

关于下面这些操作是我写过的，如果有需要可以留言：

如何对旋转目标打标签？
如何将角度信息添加到VOC格式标签？
如何计算旋转IOU指标？
其它

Demo

代码链接：

https://github.com/ZeroE04/R-CenterNetgithub.com

鉴于一些同学想知道模型训练完毕，怎么对比性能，比如旋转框怎么计算mIOU等，所以更新一个evaluation.py以及对应的案例图片和文件夹imgs。注意，这个.py和imgs文件夹不是必须的，只是模型训练结束计算性能用的。

1、有人说缺少vis模块，其实这一块是我自己写的可视化，其实是不需要的，所以直接注释掉所有相关代码就行(现在github已经删除)

2、有人询问旋转打标签工具，其实有很多，这里推荐：

chinakook/labelImg2github.com

如果你想要训练自己的数据，这个工具会把每张图片都生成一张.xml文件，你需要把每个.xml转化为.josn文件，然后把所有图片的.json文件合成一个.json文件，就是此网络训练格式文件了，也是CenterNet原版训练数据，然后每个图片里面的目标五个数值：

分别为目标中心点（x,y），以及宽度，长度，角度，角度是以12点钟为0°，顺时针旋转的角度，最大为179.99999°（旋转180°，相当于没转）。

推荐阅读

ACCV 2020国际细粒度网络图像识别竞赛即将开赛！

添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳），即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~