We present a generic method for recurrently using the same parameters for many different convolution layers to build a deep network. Specifically, for a network, we create a recurrent parameter generator (RPG), from which the parameters of each convolution layer are generated. Though using recurrent models to build a deep convolutional neural network (CNN) is not entirely new, our method achieves significant performance gain compared to the existing works. We demonstrate how to build a one-layer neural network to achieve similar performance compared to other traditional CNN models on various applications and datasets. Such a method allows us to build an arbitrarily complex neural network with any amount of parameters. For example, we build a ResNet34 with model parameters reduced by more than $400$ times, which still achieves $41.6\%$ ImageNet top-1 accuracy. Furthermore, we demonstrate the RPG can be applied at different scales, such as layers, blocks, or even sub-networks. Specifically, we use the RPG to build a ResNet18 network with the number of weights equivalent to one convolutional layer of a conventional ResNet and show this model can achieve $67.2\%$ ImageNet top-1 accuracy. The proposed method can be viewed as an inverse approach to model compression. Rather than removing the unused parameters from a large model, it aims to squeeze more information into a small number of parameters. Extensive experiment results are provided to demonstrate the power of the proposed recurrent parameter generator.


翻译:我们提出一种通用方法,用于经常使用许多不同变迁层的相同参数来建立深网络。 具体地说, 对于一个网络, 我们创建了一个经常的参数生成器( RPG), 由此产生每个变迁层的参数。 尽管我们使用反复的模型来建立深变动神经网络(CNN)并不是完全新颖的, 我们的方法与现有工程相比取得了显著的性能收益。 我们展示了如何建立一个单层神经网络, 以取得与各种应用和数据集方面其他传统的CNN模型类似的性能。 这种方法使我们能够建立一个任意的复杂神经网络。 例如, 我们建造一个 ResNet34, 其模型参数减少400美元以上, 但仍能达到 41.6 $ 图像网络顶层-1 的精确度。 此外, 我们展示了火箭可以在不同尺度上应用, 如层、 区块, 甚至次网络。 具体地说, 我们用RPG 来建立一个 ResNet 网络 网络 网络 网络 网络, 其重量相当于 常规 ResNet 层 的 一个革命层层, 和 显示这个模型可以实现67.2 $$ 图像 网络 的经常 的 值, 至 底压值 的精确度 。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
最新《Transformers模型》教程,64页ppt
专知会员服务
305+阅读 · 2020年11月26日
霍普金斯《操作系统原理》2020课程,不可错过!
专知会员服务
36+阅读 · 2020年10月27日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
68+阅读 · 2020年10月24日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
已删除
将门创投
3+阅读 · 2020年8月3日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
LibRec 精选:基于参数共享的CNN-RNN混合模型
LibRec智能推荐
6+阅读 · 2019年3月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
Arxiv
3+阅读 · 2018年10月25日
Paraphrase Generation with Deep Reinforcement Learning
Arxiv
3+阅读 · 2018年8月17日
Recurrent Fusion Network for Image Captioning
Arxiv
3+阅读 · 2018年7月31日
Arxiv
5+阅读 · 2018年1月16日
VIP会员
相关VIP内容
最新《Transformers模型》教程,64页ppt
专知会员服务
305+阅读 · 2020年11月26日
霍普金斯《操作系统原理》2020课程,不可错过!
专知会员服务
36+阅读 · 2020年10月27日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
68+阅读 · 2020年10月24日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
已删除
将门创投
3+阅读 · 2020年8月3日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
LibRec 精选:基于参数共享的CNN-RNN混合模型
LibRec智能推荐
6+阅读 · 2019年3月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
相关论文
Top
微信扫码咨询专知VIP会员