Machine learning models have achieved human-level performance on various tasks. This success comes at a high cost of computation and storage overhead, which makes machine learning algorithms difficult to deploy on edge devices. Typically, one has to partially sacrifice accuracy in favor of an increased performance quantified in terms of reduced memory usage and energy consumption. Current methods compress the networks by reducing the precision of the parameters or by eliminating redundant ones. In this paper, we propose a new insight into network compression through the Bayesian framework. We show that Bayesian neural networks automatically discover redundancy in model parameters, thus enabling self-compression, which is linked to the propagation of uncertainty through the layers of the network. Our experimental results show that the network architecture can be successfully compressed by deleting parameters identified by the network itself while retaining the same level of accuracy.


翻译:机器学习模型在各种任务中实现了人文层面的绩效。 这一成功以高昂的计算和存储成本为代价,使得机器学习算法难以在边缘设备上部署。 通常,为了提高用记忆用量和能源消耗量来量化的性能,必须部分牺牲准确性。 目前的方法通过降低参数的精确度或消除冗余参数来压缩网络。 在本文中,我们提议通过巴耶斯框架对网络压缩进行新的了解。 我们显示,巴耶斯神经网络自动发现模型参数中的冗余,从而能够实现自我压缩,这与通过网络层传播不确定性有关。 我们的实验结果表明,网络结构可以通过删除网络本身确定的参数而同时保持同样的准确度而成功压缩。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
【新书】贝叶斯网络进展与新应用,附全书下载
专知会员服务
119+阅读 · 2019年12月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
Arxiv
0+阅读 · 2022年1月14日
Arxiv
2+阅读 · 2022年1月13日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
21+阅读 · 2021年2月13日
Arxiv
9+阅读 · 2020年10月29日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
17+阅读 · 2019年3月28日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
相关论文
Arxiv
0+阅读 · 2022年1月14日
Arxiv
2+阅读 · 2022年1月13日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
21+阅读 · 2021年2月13日
Arxiv
9+阅读 · 2020年10月29日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
17+阅读 · 2019年3月28日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
19+阅读 · 2018年6月27日
Top
微信扫码咨询专知VIP会员