With the increase of structure complexity, convolutional neural networks (CNNs) take a fair amount of computation cost. Meanwhile, existing research reveals the salient parameter redundancy in CNNs. The current pruning methods can compress CNNs with little performance drop, but when the pruning ratio increases, the accuracy loss is more serious. Moreover, some iterative pruning methods are difficult to accurately identify and delete unimportant parameters due to the accuracy drop during pruning. We propose a novel adversarial iterative pruning method (AIP) for CNNs based on knowledge transfer. The original network is regarded as the teacher while the compressed network is the student. We apply attention maps and output features to transfer information from the teacher to the student. Then, a shallow fully-connected network is designed as the discriminator to allow the output of two networks to play an adversarial game, thereby it can quickly recover the pruned accuracy among pruning intervals. Finally, an iterative pruning scheme based on the importance of channels is proposed. We conduct extensive experiments on the image classification tasks CIFAR-10, CIFAR-100, and ILSVRC-2012 to verify our pruning method can achieve efficient compression for CNNs even without accuracy loss. On the ILSVRC-2012, when removing 36.78% parameters and 45.55% floating-point operations (FLOPs) of ResNet-18, the Top-1 accuracy drop are only 0.66%. Our method is superior to some state-of-the-art pruning schemes in terms of compressing rate and accuracy. Moreover, we further demonstrate that AIP has good generalization on the object detection task PASCAL VOC.


翻译:随着结构复杂性的增加, convolutional 神经网络(CNNs) 的计算成本将会增加。 与此同时, 现有的研究揭示了CNN的显著参数冗余。 目前运行的方法可以将CNN压缩, 运行率稍有下降, 但当裁剪率上升时, 准确性损失就更为严重。 此外, 一些迭接的运行方法很难准确识别和删除不重要的参数, 因为运行间隔期间的准确性下降。 最后, 我们提出了基于知识传输的CNN的新型对称迭接迭迭迭接线方法( AIP ) 。 原网络被视为教师, 而压缩的网络则是学生。 我们应用了关注度地图和输出功能功能将信息从教师转移到学生。 然后, 一个浅全连接的网络被设计为导师, 使得两个网络的输出能玩一个对抗性游戏, 从而可以迅速恢复运行间隔期间的精度。 最后, 我们提议了一个基于频道重要性的迭接线性运行计划。 我们在图像分类任务 CIFAR- 10, CIFAR- 100 和 ILS- IMVRC- 2012 的精确度操作中, 正在进一步进行广泛的升级 。

1
下载
关闭预览

相关内容

【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
已删除
将门创投
6+阅读 · 2019年1月11日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Arxiv
0+阅读 · 2021年10月21日
Arxiv
0+阅读 · 2021年10月18日
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
相关VIP内容
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
已删除
将门创投
6+阅读 · 2019年1月11日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
相关论文
Arxiv
0+阅读 · 2021年10月21日
Arxiv
0+阅读 · 2021年10月18日
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
19+阅读 · 2018年6月27日
Top
微信扫码咨询专知VIP会员