Pruning unimportant parameters can allow deep neural networks (DNNs) to reduce their heavy computation and memory requirements. A saliency metric estimates which parameters can be safely pruned with little impact on the classification performance of the DNN. Many saliency metrics have been proposed, each within the context of a wider pruning algorithm. The result is that it is difficult to separate the effectiveness of the saliency metric from the wider pruning algorithm that surrounds it. Similar-looking saliency metrics can yield very different results because of apparently minor design choices. We propose a taxonomy of saliency metrics based on four mostly-orthogonal principal components. We show that a broad range of metrics from the pruning literature can be grouped according to these components. Our taxonomy not only serves as a guide to prior work, but allows us to construct new saliency metrics by exploring novel combinations of our taxonomic components. We perform an in-depth experimental investigation of more than 300 saliency metrics. Our results provide decisive answers to open research questions, and demonstrate the importance of reduction and scaling when pruning groups of weights. We find that some of our constructed metrics can outperform the best existing state-of-the-art metrics for convolutional neural network channel pruning.


翻译:深度神经网络(DNNs)可以降低其沉重的计算和记忆要求。一个显著的衡量指标估计参数可以安全地调整,对DNN的分类性能没有多大影响。已经提出了许多突出的衡量指标,每个指标都是在更广泛的运行算法范围内提出的。结果是,很难将显性指标的有效性与周围更为广泛的运行算法区分开来。类似的显性指标由于设计选择显然很小,可以产生非常不同的结果。我们提出一个基于四个主要组成部分的显著指标的分类方法。我们表明,从修读文献中得出的一系列广泛的计量指标可以按照这些组成部分进行分组。我们的分类不仅可以指导先前的工作,而且还使我们能够通过探索我们分类组成部分的新组合来建立新的显著指标。我们对300多个显著指标进行深入的实验性调查。我们的结果为公开研究问题提供了决定性的答案,并表明在压动中模型的模型组合中,我们能够发现某些现有变压式模型的模型。

0
下载
关闭预览

相关内容

【干货书】机器人元素Elements of Robotics ,311页pdf
专知会员服务
34+阅读 · 2021年4月16日
专知会员服务
114+阅读 · 2020年8月22日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
5+阅读 · 2018年11月27日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Arxiv
0+阅读 · 2021年9月7日
Arxiv
49+阅读 · 2021年5月9日
Arxiv
8+阅读 · 2020年6月15日
Arxiv
17+阅读 · 2018年4月2日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
5+阅读 · 2018年11月27日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员