精度首超ResNet，港科大和CMU提出史上最强二值化网络ReActNet

2020 年 8 月 20 日 AI科技评论

编辑 | 陈大鑫

ECCV 2020 将于8月23日开始，作为两年一度的计算机视觉三大会议之一，备受大家关注。今天和大家分享一篇由香港科技大学和卡耐基梅隆大学共同发表在 ECCV 2020 上的工作《ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions》，是 Bi-Real Net 作者在二值化研究领域的最新成果。

论文地址：https://arxiv.org/abs/2003.03488

开源地址：https://github.com/liuzechun/ReActNet

在众多卷积神经网络（CNN）压缩算法中，二值化网络（BNN）作为网络量化的极端情况，一直拥有着高压缩比，高加速比的性能优势，但是BNN的精度不高也一直饱受诟病，阻碍了BNN在实际场景中的应用。

今天要分享的这篇论文，作者用简单的平移激活值分布的操作，就取得了超过等同于实数值ResNet的精度，可以说是长久以来对于BNN的艰苦探索的里程碑式的工作。

介绍

这篇文章通过简单的可学习的参数值，达到优化激活分布的目的，从而增加BNN的中激活值所携带的信息量。仅仅通过这一简单的改进，配合Distributional Loss，本文ReActNet，便可压缩MobileNet V1至87M FLOPs，并且取得高达 69.4% 的精度。这比著名的XNOR-Net 的结果 51.2% 要高出了18.2%，而所需的FLOPs也几乎仅仅是XNOR-Net的1/2。同时，69.4%的精度已经超过69.3%的实数值ResNet精度，这也是首次BNN网络能取得和实数值ResNet网络同等高的精度，揭示了BNN的巨大潜力。

下图是ReActNet与各个方法的对比。

而达成这个高精度的网络ReActNet的核心，其实是非常简单直接操作。作者通过实验发现，BNN卷积输出的特征图很难同时兼顾携带足够的特征信息和保证输出值范围适合下一层二值化操作。即，如果直接对网络中传递的实数值进行取Sign操作，可能会遇到由于实数值范围不合适而导致的二值化特征图携带信息量低。如下图所示。

只有在特征图的取值范围合适的时候（图（b）），所输出的二值化特征图才是包含最多信息量和最容易被网络是别的。

基于这个观察，作者提出了Generalized Sign 和 PReLU 函数，称之为RSign （ReAct Sign）和 RPReLU （ReAct PReLU），通过一个可学习的位移量来让网络自动学习最适合的binary阈值和Activation的分布。

RPReLU 的函数表示：

更直观的理解，以RPReLU举例来说，它所做的事情就是Move Activation Distribution，Reshape，Move：移动，重塑，再移动，如下图所示。

结合Distributional Loss 和基于MobileNetV1的网络改进，采用了RSign 和RPReLU 的ReActNet 能在ImageNet数据集上取得了69.3% 的 Top-1 Accuracy，超过了SOTA的结果。

而从网络内部的Activation分布中也可以看出，增加了RSign 和RPReLU的ReActNet有更强的表达能力，可以捕捉到更精细的Activation Distribution。

结论

在本文中，作者提出了一些新的想法来优化1比特CNN以获得更高的精度。

首先，设计了基于MobileNetV1的无参数快捷方式，在普通卷积层和下采样层中传播实值特征映射。在ImageNet数据集上，这将产生一个61.1%的top-1准确率的模型。

然后，作者基于观察到的1比特CNNs性能对分布变化高度敏感提出了ReAct Sign和ReAct PReLU，以一种可学习的方式对分布进行移位和重塑，并证明它们在最高精度上的显著提升。

作者还提出在二值网络和实数值参考网络的输出之间引入一个分配损失来代替原来的交叉熵损失。这个分配损失类似于知识蒸馏，通过一个实数值参考网络的输出来指导目标二值网络的学习，从而拉近两者之间分布的差异。值得一提的是，在这个过程中作者不再使用到人工标注的one-hot label，而是只使用实数值参考网络的输出产生loss，这个做法能很好的规避掉人工标注的la b el中可能存在的一些错误或者误标，这个做法跟之前的MEAL也是一致的。

在这些思想的共同作用下，作者所提出的ReActNet在ImageNet上达到了69.4%的最高精度，仅比实数值低3%，而计算成本却大大降低。

最后，HKUST Vision and System Design Lab正在招有硬件经验的同学当博士后，由 TimCHENG 老师亲自指导。如果您曾在DAC，ICCAD或同等硬件会议/期刊上发表过一作论文，欢迎发送简历到 zliubq@connect.ust.hk 。