CVPR 2019 | NAS-FPN：基于自动架构搜索的特征金字塔网络

作者丨孙明珊

学校丨哈尔滨工业大学（深圳）硕士生

研究方向丨目标检测

研究动机

当前目标检测网络中采用特征金字塔网络（FPN）结构解决多尺度的问题，但是这些 FPN 都是人工事先设计，并不一定是最优的结构。为了更灵活地获得更优的 FPN 结构，该文章首创性地提出了采用神经架构搜索（NAS）的方式定制化地构建 FPN，该结构又称 NAS-FPN。

设计 FPN 结构的最大困难在于它巨大的设计空间，在不同尺度上融合特征的组合数会随着网络层数的增长而增大。由此该文先设计了一个能覆盖所有跨尺度连接产生多尺度特征的搜索空间，然后采用强化学习训练一个 RNN 控制器来选出最优的 FPN 结构。该方法采用 RetinaNet 的框架，其结构如下图所示：

研究方法

搜索空间 

FPN 的众多跨连接构成了很大的搜索空间。在搜索空间中，一个 FPN 由很多 merging cells 组成，然后合并一些来自不同层融合的特征表示。一个 merging cell 将两个来自不同特征层的特征连接融合产生一个特征输出，这样的单元结构就构成了 FPN 的元结构，同时所有的可能的特征层组合由 merging cells 组建化的表示，这也就构成了我们的搜索空间（模块化）。一个 merging cell 的结构如下：

构建 merging cell 是由控制器 RNN 来做决定，它不仅要决定选取哪两个特征层，还要决定采用那种特征融合方式？

每个 merging cell 有 4 个预测步骤：首先选一个特征层，然后再选一个特征层，随后决定输出特征的维度，最后决定采用何种特征融合方式将两个特征层合并到特定尺度。这里的特征融合方式分为两种 sum 和 global pooling。 

NAS-FPN 的优势之一是搜索空间的设计，覆盖所有可能的跨尺度连接，用来生成多尺度特征表示。在搜索过程中，研究者的目标是发现具有相同输入和输出特征级别并且可以被重复应用的微粒架构。模块化搜索空间使得搜索金字塔架构变得易于管理。

模块化金字塔架构的另一个好处是可以随时检测目标，虽然这种方法已出现，但手动设计这种架构依旧相当困难。固定分类和回归的网络进行深度监督训练。搜索的终止并不是非要全部搜索完，随时都可以退出。因为分辨率不变，所以 FPN 可以随意扩展。 

模型搜索 

NAS 利用强化学习训练控制器在给定的搜索空间中选择最优的模型架构。控制器利用子模型在搜索空间中的准确度作为奖励信号来更新参数。因此，通过反复试验，控制器逐渐学会了如何生成更好的架构。由于不知道 FPN 的跨连接情况，NAS-FPN 采用 RNN 作为控制器，使用该控制器来产生一串信息，用于构建不同的连接。其宏观结构如下图所示：

其搜索得到的最优 FPN 结构如下图，其控制器收敛得到的最终 FPN 结构如 (f) 所示，并且其精度最高。从中可得训练时间越长其轨迹越曲折混乱：其搜索得到的最优 FPN 结构如下图，其控制器收敛得到的最终 FPN 结构如 (f) 所示，并且其精度最高。从中可得训练时间越长其轨迹越曲折混乱：

每个点代表一个特征层。同一行的特征层具有相同的分辨率。分辨率在自底向上下降。箭头表示内部层之间的连接。图中左侧是输入层。金字塔网络的输入用绿色圆圈标记，输出用红色圆圈标记。

最终收敛的 FPN 网络结构如下图：

实验内容及分析

实验中使用了 RetinaNet 的开源实现。模型在 COCO train2017 上训练，大部分实验采用 COCO val2017 进行评估。结果如下： 

总体对比结果如下表所示：

总结

本文提出利用神经架构搜索进一步优化用于目标检测的特征金字塔网络的设计过程。在 COCO 数据集上的实验表明，神经结构搜索发现的架构，名为 NAS-FPN，具有良好的灵活性和高性能，可用于构建精确的检测模型。在广泛的精度和速度权衡方面，NAS-FPN 在许多检测任务的主干架构上产生了显著改进。

点击以下标题查看更多往期内容： 

• 最新Anchor-Free目标检测模型—FoveaBox

• 论文盘点：CVPR 2019 - 文本检测专题

• 近期值得读的10篇GAN进展论文

• 天秤座R-CNN：全面平衡的目标检测器
  

• 万字综述之生成对抗网络（GAN）

• CVPR 2019 | 基于高清表示网络的人体姿态估计

• PoolNet：基于池化技术的显著性目标检测

• 全新缺失图像数据插补框架—CollaGAN

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 下载论文 & 源码