来源丨https://zhuanlan.zhihu.com/p/536500269
本文将介绍一个针对计算资源紧缺的ARM平台设计的算法——FastestDet。该算法相比于yolo-fastest单核耗时减少了10%，mAP0.5的指标要比yolo-fastestv2提升接近1个点。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
1. 测试指标
![]()
表中耗时是用NCNN测的，测试平台为RK3568 ARM-CPU，FastestDet相比于yolo-fastest单核耗时减少了10%，mAP0.5的指标要比yolo-fastestv2提升接近1个点。
2. 概要
这次本来是打算把yolo-fastestV2代码重构下(本来yolo-fastestV2的代码就临时东拼西凑写的)，性能在优化下，结果改着改着就面目全非了，和yolo八杆子打不着了，再叫yolo-fastestV2.5或者V3就容易误导大家了，干脆叫个新名字FastestDet吧。
其实算法的代码框架半年前就写完了，但是一直拖到现在才完善发布，主要是搞这个轻量级目标检测这个算是自己业余爱好，自己平日工作不是搞这类算法的，所以就平日下班没事儿做做实验，学习学习看看论文，探索优化（其实根本原因是前段时间沉迷游戏，占着家里炼丹的炉子没法炼丹）
3. 算法定位
FastestDet是设计用来接替yolo-fastest系列算法，相比于业界已有的轻量级目标检测算法如yolov5n, yolox-nano, nanoDet, pp-yolo-tiny, FastestDet和这些算法压根儿不是一个量级，FastestDet无论在速度还是参数量上，都是要小好几个数量级的(不要在拿int8的模型和我fp32的模型比体积了,不公平)，但是精度自然而然也比不过。
FastestDet是针对计算资源紧缺的ARM平台设计的，突出单核效能，因为在实际业务场景中，不会把所有CPU资源都给推理框架做模型推理的，假如说你想在例如树莓派, RK3399, RK3568去跑实时目标检测，那么FastestDet是比较好的选择，或者移动端上不想占用太多cpu资源，也可以去用单核并设置cpu sleep去推理FastestDet，在低功耗的条件下运行算法。
4. 算法特性
先说下FastestDet的几个重要特性:
1.单轻量化检测头 2.anchor-free 3.跨网格多候选目标 4.动态正负样本分配 5.简单的数据增强 下面我就一个个去详细讲下吧:
4.1 单轻量化检测头
这个是对网络结构上对算法模型进行优化，主要是提升算法运行速度，简化后处理步骤，大家可以先看下这块的网络结构：
其实多检测头设计的是为了适应检测不同尺度物体目标，高分辨率的检测头负责检测小物体，低分辨的检测头负责检测大物体，一种分而治之的思想。我个人觉得根因在于感知野，不同尺度的物体所需要的感知野是不同的，而模型每层的感知野都是不一样的，包括FPN也是对不同感知野特征的汇总融合。
这块单检测头我也是参考的YOLOF的思想，在网络结构中，采用类似inception的5x5分组卷积并行网络结构，期待能融合不同感知野的特征，让单个检测头也能适应检测不同尺度的物体。
4.2 Anchor-Free
原先的anchor-base算法在训练模型都需要对数据集进行anchor-bias的运算，anchor-bias可以理解为对数据集中标注物体的宽高进行聚类，得到一组先验宽高，网络在这组先验宽高的基础上去优化预测框的宽高。FastestDet采用的是anchor-free算法，模型是直接回归gt于特征图宽高的scale值的，是没有先验宽高。这种方法可以简化模型后处理。而且对于anchor-base算法每个特征图的特征点是对应N个anchor候选框的，而这种anchor-free每个特征图的特征点只对应一个候选框，所以在推理速度上也是有优势的。
4.3 跨网格多候选目标
这块还是借鉴了yolov5，不单单只把gt中心点所在的网格当成候选目标，还把附近的三个也算进行去，增加正样本候选框的数量，如下图所示:
![]()
球球猫在努力拉粑粑
4.4 动态正负样本分配
所谓的动态正负样本分配其实就是在模型训练过程去动态分配正负样本，这是有别于以前yolo-fastest的，原先yolo-fastest的anchor-bias设置好以后, 通过计算anchor-bias与gt宽高的scale，对scale卡固定阈值分配正负样本（参考yolov5的做法），而anchor-bias和gt在训练过程中都是不变的，所以正负样本分配在训练过程中也是不变的。而在FastestDet的正负样本分配参考的ATSS，通过设置预测框与GT计算的SIOU的均值作为分配正负样本的阈值，假如当前预测框与GT的SIOU阈值大于均值，那么为正样本，反之异然。（为什么没有参考simota？那是因为在构建cost矩阵时，不同loss的权重还得调超参，懒的调了）
4.5 简单的数据增强
对于轻量级的模型数据增强要慎重，本来学习能力差，脑子不怎么好使，上来给难题做可不拉跨，所以采用简单的数据增强如随机平移和随机缩放，并没有采用moscia和Mixup。
5. 测试效果图
项目源代码：
https://github.com/dog-qiuqiu/FastestDet
公众号后台回复“项目实践”获取50+CV项目实践机会～
极市平台深耕CV开发者领域近5年，拥有一大批优质CV开发者受众，覆盖微信、知乎、B站、微博等多个渠道。通过极市平台，您的文章的观点和看法能分享至更多CV开发者，既能体现文章的价值，又能让文章在视觉圈内得到更大程度上的推广。
对于优质内容开发者，极市可推荐至国内优秀出版社合作出书，同时为开发者引荐行业大牛，组织个人分享交流会，推荐名企就业机会，打造个人品牌 IP。
2.
极市平台尊重原作者署名权，并支付相应稿费。文章发布后，版权仍属于原作者。
3.原作者可以将文章发在其他平台的个人账号，但需要在文章顶部标明首发于极市平台
添加小编微信Fengcall（微信号：fengcall19），备注：姓名-投稿
微信扫码咨询专知VIP会员