Model binarization is an effective method of compressing neural networks and accelerating their inference process, which enables state-of-the-art models to run on resource-limited devices. However, a significant performance gap still exists between the 1-bit model and the 32-bit one. The empirical study shows that binarization causes a great loss of information in the forward and backward propagation which harms the performance of binary neural networks (BNNs), and the limited information representation ability of binarized parameter is one of the bottlenecks of BNN performance. We present a novel Distribution-sensitive Information Retention Network (DIR-Net) to retain the information of the forward activations and backward gradients, which improves BNNs by distribution-sensitive optimization without increasing the overhead in the inference process. The DIR-Net mainly relies on two technical contributions: (1) Information Maximized Binarization (IMB): minimizing the information loss and the quantization error of weights/activations simultaneously by balancing and standardizing the weight distribution in the forward propagation; (2) Distribution-sensitive Two-stage Estimator (DTE): minimizing the information loss of gradients by gradual distribution-sensitive approximation of the sign function in the backward propagation, jointly considering the updating capability and accurate gradient. The DIR-Net investigates both forward and backward processes of BNNs from the unified information perspective, thereby provides new insight into the mechanism of network binarization. Comprehensive experiments on CIFAR-10 and ImageNet datasets show our DIR-Net consistently outperforms the SOTA binarization approaches under mainstream and compact architectures. Additionally, we conduct our DIR-Net on real-world resource-limited devices which achieves 11.1 times storage saving and 5.4 times speedup.


翻译:模型二进制是压缩神经网络并加速其神经网络的有效方法,使最先进的网络模型能够在资源有限的装置上运行。然而,1比特模型和32比特模型之间仍然存在着巨大的绩效差距。经验研究表明,二进制在前向和后向传播中造成了信息的巨大损失,损害了双进神经网络的性能,而二进制参数的信息代表能力有限是BNN性功能的瓶颈之一。我们展示了一个新型的对分销敏感的信息保留网(DIR-Net),以保留关于前进主流启动和后向梯度模型的信息,通过对分布有敏感认识的模型和32比特位模型之间仍然存在显著的绩效差距。DIR-Net主要依靠两种技术贡献:(1) 信息最大化的神经网络(IMB):通过平衡和标准化前进式传播中的权重分配敏感信息;(2) 分销敏感二阶段的DR-Retain Retain 服务器(DTE-IPR),通过配置对前进进化的系统流数据流流流流运行,通过Scial-demodeal the develrial develrial lial develilal lapsal laps sal demod sal sal sal demotion sal sal sal sal sal sal selational selations slations sirmal sal ex ex ex ex ex sirmalts,通过Sir sirmals 提供我们Sirmalts,通过Sirmal AS AS ASmalts,通过Sirts,通过测试,通过Sirmaltaltaldals AS AS AS ASlational-saldaltaltaltaldal 机能能进行我们BY 机能,通过测试提供机算。 机能 机能,通过测试,通过测试,通过测试,通过测试,通过Sirmaltaldal deal deal deal 机能进行进行进行进行进行进行进行。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
49篇ICLR2020高分「图机器学习GML」接受论文及代码
专知会员服务
61+阅读 · 2020年1月18日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
已删除
将门创投
5+阅读 · 2019年10月29日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
0+阅读 · 2021年12月7日
Arxiv
8+阅读 · 2021年5月9日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
24+阅读 · 2018年10月24日
VIP会员
相关VIP内容
49篇ICLR2020高分「图机器学习GML」接受论文及代码
专知会员服务
61+阅读 · 2020年1月18日
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
已删除
将门创投
5+阅读 · 2019年10月29日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员