Convolutional Neural Networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling and identify that carefully balancing network depth, width, and resolution can lead to better performance. Based on this observation, we propose a new scaling method that uniformly scales all dimensions of depth/width/resolution using a simple yet highly effective compound coefficient. We demonstrate the effectiveness of this method on scaling up MobileNets and ResNet. To go even further, we use neural architecture search to design a new baseline network and scale it up to obtain a family of models, called EfficientNets, which achieve much better accuracy and efficiency than previous ConvNets. In particular, our EfficientNet-B7 achieves state-of-the-art 84.4% top-1 / 97.1% top-5 accuracy on ImageNet, while being 8.4x smaller and 6.1x faster on inference than the best existing ConvNet. Our EfficientNets also transfer well and achieve state-of-the-art accuracy on CIFAR-100 (91.7%), Flowers (98.8%), and 3 other transfer learning datasets, with an order of magnitude fewer parameters. Source code is at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.


翻译: Convolution Neal Nets(Convolal Neal Nets) 通常以固定的资源预算开发,然后在可获得更多资源的情况下为更准确性而升级。 在本文中,我们系统地研究模型规模,并发现仔细平衡网络深度、宽度和分辨率能够带来更好的业绩。基于这一观察,我们提出一种新的规模化方法,使用简单而高效的复合系数,统一深度/宽度/分辨率所有维度/分辨率的方方面面。我们展示了扩大移动网络和ResNet的这一方法的有效性。为了更进一步,我们利用神经结构搜索设计新的基线网络,并提升网络规模,以获得一系列模型,称为“高效网络”,这些模型比以前的ConvonNet(91.7%)更准确、效率更高。特别是,我们高效的Net-B7实现了最新的84.4%顶级/97%/最高5级图像网络的精确度,同时比现有最佳的ConvondNet网络小8.4x和6.1x速度。我们高效的网络还进行良好的传输,并实现CFAR-100(91.7%)/ Stamplemental/rental pressal pressalsal)/ dalbs selock.

3
下载
关闭预览

相关内容

专知会员服务
59+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
谷歌EfficientNet缩放模型,PyTorch实现登热榜
机器学习算法与Python学习
11+阅读 · 2019年6月4日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
8+阅读 · 2018年11月21日
Arxiv
4+阅读 · 2018年9月11日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
7+阅读 · 2018年6月1日
Arxiv
3+阅读 · 2018年6月1日
Arxiv
4+阅读 · 2017年7月25日
VIP会员
相关VIP内容
专知会员服务
59+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
相关论文
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
8+阅读 · 2018年11月21日
Arxiv
4+阅读 · 2018年9月11日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
7+阅读 · 2018年6月1日
Arxiv
3+阅读 · 2018年6月1日
Arxiv
4+阅读 · 2017年7月25日
Top
微信扫码咨询专知VIP会员