CVPR 2020 | CMU & HKUST提出binary网络自动化搜索，同时实现超高压缩与高精度

2020 年 7 月 14 日 PaperWeekly

这项工作由卡内基梅隆大学，香港科技大学合作完成，目的是通过网络自动化搜索，找到在已知网络的权重（weight）和激活值（activation）都为二值化｛－1，＋1｝的情况下，搜索最能充分利用二值化卷机层的表达能力的网络结构。

该工作是第一篇在 depth-wise 的卷积中通过搜索 group conv 来实现网络二值化的算法。实验结果表明，本方法能取得和接近 XNOR-Net 的精度，而所需的 FLOPs 仅约为 XNOR-Net 的 1/5。借助于 Matrix 层面的参数共享机制，整个搜索过程只需要～30 GPU hours。

论文标题：Binarizing MobileNet via Evolution-based Searching

论文来源：CVPR 2020

论文链接：https://arxiv.org/abs/2005.06305

介绍

深度卷积神经网络（CNN）量化是一种常用的网络压缩方法，而网络二值化是极端情况下的量化，即每个 weight 和 activation 仅用－1 或＋1 表示。一方面，在这种极端压缩的情况下，网络的表达能力会受到非常大的限制。另一方面，近来越来越多的学者以及工程师更加关心如何压缩哪些原本就经过了紧凑型网络设计的小网络，如 MobileNet。这就给网络量化提出了新的挑战。

为了应对这一挑战，本文从 MobileNet 网络框架出发，根据二值化网络特性，搜索最佳网络结构。在分析二值化网络的表达能力的时候我们发现，当二值化卷机层是 depth-wise 卷积时，输出的 feature map 中的激活值的取值范围将局限于（-3x3，3x3）之间，由此也导致了 binarize MobileNet 难以收敛。而如果把 MobileNet 中的 depth-wise 卷积替换成全卷积，则会导致參数量增加，从而降低二值化网络的高压缩率。

为了取得压缩率与网络精度之间的权衡，我们认为，每一层卷积对应的feature的抽象化程度不同，因此，对于表达能力的要求也不一样。基于这个假设，我们提出用网络自动搜索（NAS）的方法搜索每一层的组卷积的最优group数，作为depth-wise 卷积和全卷积之间的trade-off。

我们的框架基于 one-shot architecture search，包含三步：

第一步：训练一个参数共享网络。

第二步：用遗传算法在参数共享网络中搜索出最优的每一层组卷积的 group 数目。

第三步：训练搜索得到的最优网络。

特别的，在训练参数共享网络时，我们为组卷积搜索设计了 matrix-level 的参数共享。

如图所示，在一个输入 6 通道输出 6 通道的卷机层中，可以选取的 group 数目为 1，2，3，6。group＝1 时为全卷积，训练参数为存储的所有 weights。当 group＝6 时为 depth-wise 卷积，训练参数为对角线上的所选 weights。为了方便直观化表示，下图的每一个 cell 代表了一个 3x3 的卷积核。