Much recent research has been dedicated to improving the efficiency of training and inference for image classification. This effort has commonly focused on explicitly improving theoretical efficiency, often measured as ImageNet validation accuracy per FLOP. These theoretical savings have, however, proven challenging to achieve in practice, particularly on high-performance training accelerators. In this work, we focus on improving the practical efficiency of the state-of-the-art EfficientNet models on a new class of accelerator, the Graphcore IPU. We do this by extending this family of models in the following ways: (i) generalising depthwise convolutions to group convolutions; (ii) adding proxy-normalized activations to match batch normalization performance with batch-independent statistics; (iii) reducing compute by lowering the training resolution and inexpensively fine-tuning at higher resolution. We find that these three methods improve the practical efficiency for both training and inference. Our code will be made available online.


翻译:最近的许多研究都致力于提高培训效率和图像分类的推论效率。这一努力通常侧重于明确提高理论效率,通常以FLOP的图像网络验证精度衡量。然而,事实证明,这些理论节约在实践中难以实现,特别是在高性能培训加速器方面。在这项工作中,我们侧重于提高最新高效网络模型在一个新的加速器类别即Greacore 议会联盟上的实际效率。我们通过以下方式扩大这一模型系列:(一) 将深度变异推广到集团变异;(二) 增加代理调整启动,使批量正常化业绩与批量独立统计相匹配;(三) 通过降低培训分辨率和高分辨率的低成本微调降低计算率。我们发现这三种方法提高了培训和推断的实际效率。我们的代码将在线公布。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
55+阅读 · 2020年5月9日
【伯克利】再思考 Transformer中的Batch Normalization
专知会员服务
40+阅读 · 2020年3月21日
已删除
将门创投
5+阅读 · 2020年3月2日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
CVPR2019年热门论文及开源代码分享
深度学习与NLP
7+阅读 · 2019年6月3日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
Papers With Code:一文看尽深度学习这半年
极市平台
61+阅读 · 2018年12月3日
【推荐】卷积神经网络类间不平衡问题系统研究
机器学习研究会
6+阅读 · 2017年10月18日
Arxiv
13+阅读 · 2021年6月14日
Arxiv
17+阅读 · 2021年3月29日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
5+阅读 · 2020年3月16日
Deformable ConvNets v2: More Deformable, Better Results
VIP会员
相关资讯
已删除
将门创投
5+阅读 · 2020年3月2日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
CVPR2019年热门论文及开源代码分享
深度学习与NLP
7+阅读 · 2019年6月3日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
10+阅读 · 2018年12月4日
Papers With Code:一文看尽深度学习这半年
极市平台
61+阅读 · 2018年12月3日
【推荐】卷积神经网络类间不平衡问题系统研究
机器学习研究会
6+阅读 · 2017年10月18日
Top
微信扫码咨询专知VIP会员