In this paper, we compress convolutional neural network (CNN) weights post-training via transform quantization. Previous CNN quantization techniques tend to ignore the joint statistics of weights and activations, producing sub-optimal CNN performance at a given quantization bit-rate, or consider their joint statistics during training only and do not facilitate efficient compression of already trained CNN models. We optimally transform (decorrelate) and quantize the weights post-training using a rate-distortion framework to improve compression at any given quantization bit-rate. Transform quantization unifies quantization and dimensionality reduction (decorrelation) techniques in a single framework to facilitate low bit-rate compression of CNNs and efficient inference in the transform domain. We first introduce a theory of rate and distortion for CNN quantization, and pose optimum quantization as a rate-distortion optimization problem. We then show that this problem can be solved using optimal bit-depth allocation following decorrelation by the optimal End-to-end Learned Transform (ELT) we derive in this paper. Experiments demonstrate that transform quantization advances the state of the art in CNN compression in both retrained and non-retrained quantization scenarios. In particular, we find that transform quantization with retraining is able to compress CNN models such as AlexNet, ResNet and DenseNet to very low bit-rates (1-2 bits).


翻译:在本文中,我们通过变换量化来压缩进化神经网络(CNN)重量。 先前的CNN量化技术往往忽视重量和激活的联合统计,在给定的四分制位速率中产生亚最佳CNN性表现,或者仅仅在训练期间考虑其联合统计数据,不利于有效压缩已经受过训练的CNN模型。我们优化地转换( 降压) 和量化后训练重量。我们使用一个比率扭曲框架来改进任何特定量化位数化位数的压缩。 变换四分化统一量化和元化减少( 变换) 网络化技术, 在一个单一框架内, 以方便低位位调压缩CNNs和在变异域中有效推断, 或只考虑其联合统计数据, 并且不便于有效压缩已经受过训练的CNNNCN的模型。 我们随后展示了这一问题可以通过最佳的州级到级的低级变换版( ELT) 和 网络化( 网络变版) 技术在本文中以最优化的变版变版性变版式变版模式来解决该问题。

0
下载
关闭预览

相关内容

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
47+阅读 · 2021年1月20日
《机器学习思维导图》,一图掌握机器学习知识要点
专知会员服务
67+阅读 · 2021年1月12日
专知会员服务
78+阅读 · 2020年8月4日
专知会员服务
59+阅读 · 2020年3月19日
已删除
AI掘金志
7+阅读 · 2019年7月8日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
13+阅读 · 2019年5月15日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
VIP会员
相关资讯
已删除
AI掘金志
7+阅读 · 2019年7月8日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
13+阅读 · 2019年5月15日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Top
微信扫码咨询专知VIP会员