ECCV 2020 | 史上最强二值化网络ReActNet，精度首超ResNet

2020 年 8 月 20 日 PaperWeekly

在众多卷积神经网络（CNN）压缩算法中，二值化网络（BNN）作为网络量化的极端情况，一直拥有着高压缩比，高加速比的性能优势，但是 BNN 的精度不高也一直饱受诟病，阻碍了 BNN 在实际场景中的应用。

今天和大家分享一篇 ECCV 2020 上发表的工作 ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions。是 Bi-Real Net 作者在二值化研究领域的最新成果。该论文用简单的平移激活值分布的操作，就取得了超过等同于实数值 ResNet 的精度，可以说是长久以来对于 BNN 的艰苦探索的里程碑式的工作。

论文标题：ReActNet:Towards Precise Binary Neural Network with Generalized Activation Functions

论文链接：https://arxiv.org/abs/2003.03488

代码链接：https://github.com/liuzechun/ReActNet

这篇文章通过简单的可学习的参数值，达到优化 Activation 的分布的目的，从而增加 BNN 的中激活值所携带的信息量。仅仅通过这一简单的改进，配合 Distributional Loss，本文 ReActNet，便可压缩 MobileNet V1 至 87M FLOPs，并且取得高达 69.4% 的精度。

这比著名的 XNOR-Net 的结果 51.2% 要高出了 18.2%，而所需的 FLOPs 也几乎仅仅是 XNOR-Net 的 1/2。同时，69.4% 的精度已经超过 69.3% 的实数值 ResNet 精度，这也是首次 BNN 网络能取得和实数值 ResNet 网络同等高的精度，揭示了 BNN 的巨大潜力。

下图是 ReActNet 与各个方法的对比。

而达成这个高精度的网络 ReActNet 的核心，其实是非常简单直接操作。作者通过实验发现，BNN 卷积输出的特征图很难同时兼顾携带足够的特征信息和保证输出值范围适合下一层二值化操作。即，如果直接对网络中传递的实数值进行取 Sign 操作，可能会遇到由于实数值范围不合适而导致的二值化特征图携带信息量低。如下图所示。

只有在特征图的取值范围合适的时候（图（b）），所输出的二值化特征图才是包含最多信息量和最容易被网络是别的。

基于这个观察，作者提出了 Generalized Sign 和 PReLU 函数，称之为 RSign （ReAct Sign）和 RPReLU （ReAct PReLU），通过一个可学习的位移量来让网络自动学习最适合的 binary 阈值和 Activation 的分布。

直观的理解，比如 RPReLU 所做的事情就是 Move Activation Distribution，Reshape，Move。移动，重塑，再移动。如下图所示。

结合 Distributional Loss 和基于 MobileNet V1 的网络改进，用了RSign 和 RPReLU 的 ReActNet 能在 ImageNet 数据集上取得了 69.3% 的 Top-1 Accuracy，超过了 State-of-the-art 的结果。而从网络内部的 Activation 分布中也可以看出，增加了 RSign 和 RPReLU 的 ReActNet 有更强的表达能力，可以捕捉到更精细的 Activation distribution。