【DeepMind】无归一化的高性能大规模图像识别

批处理归一化是大多数图像分类模型的关键组成部分，但由于其对批处理大小的依赖和实例之间的交互，因此它有许多不必要的特性。尽管最近的工作已经成功地训练了没有归一化层的深度ResNets，但是这些模型与最好的归一化网络的测试精度不匹配，并且对于大的学习率或强的数据增强常常是不稳定的。在这项工作中，我们开发了一种自适应梯度裁剪技术来克服这些不稳定性，并设计了一种显著改进的类无归一化的重网。我们的较小的模型具有与EfficientNet-B7在ImageNet上的相匹配的测试精度，，而训练速度高达8.7倍，我们最大的模型达到了最新的最先进的最高精度86.5%。此外，在对3亿张标记图像数据集进行大规模预训练后，在ImageNet上进行微调时，无归一化模型获得了比批量归一化模型显著更好的性能，我们最好的模型获得了89.2%的精度。我们的代码可以在这个https URL deepmind-research/tree/master/nfnets上找到。

https://www.zhuanzhi.ai/paper/926b8f078a97f904719d3d70cc69d30f

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“LSIR” 可以获取《【DeepMind】无归一化的高性能大规模图像识别》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源