Object recognition is an important task for improving the ability of visual systems to perform complex scene understanding. Recently, the Exponential Linear Unit (ELU) has been proposed as a key component for managing bias shift in Convolutional Neural Networks (CNNs), but defines a parameter that must be set by hand. In this paper, we propose learning a parameterization of ELU in order to learn the proper activation shape at each layer in the CNNs. Our results on the MNIST, CIFAR-10/100 and ImageNet datasets using the NiN, Overfeat, All-CNN and ResNet networks indicate that our proposed Parametric ELU (PELU) has better performances than the non-parametric ELU. We have observed as much as a 7.28% relative error improvement on ImageNet with the NiN network, with only 0.0003% parameter increase. Our visual examination of the non-linear behaviors adopted by Vgg using PELU shows that the network took advantage of the added flexibility by learning different activations at different layers.


翻译:对象识别是提高视觉系统进行复杂场景理解的能力的一项重要任务。 最近, 已经提议将显微线性单元( ELU) 作为管理进化神经网络( CNNs) 中偏向转移的关键组成部分, 但定义了一个必须手工设定的参数 。 在本文中, 我们建议学习ELU 的参数化, 以便学习CNN每层的正常激活形状 。 我们对使用 NN、 overfeat、 All-CNN 和 ResNet 网络的 MNIST、 CIFAR- 10/100 和图像网数据集的研究结果显示, 我们拟议的参数ELU( PELU) 的性能优于非参数性能。 我们观察到, 与 NiN 网络相比, 图像网的相对差差幅提高了7. 28% 。 我们用 PELU 对 Vgg 采用的非线性行为进行的视觉检查显示, 网络通过在不同层次学习不同的激活手段, 利用 PELU 利用 PELU 来利用增加的灵活性。

0
下载
关闭预览

相关内容

深度学习搜索,Exploring Deep Learning for Search
专知会员服务
57+阅读 · 2020年5月9日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
7+阅读 · 2020年3月1日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
22+阅读 · 2018年2月14日
VIP会员
相关VIP内容
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
57+阅读 · 2020年5月9日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
相关论文
Top
微信扫码咨询专知VIP会员