【Google大脑】进化正则激活层，Evolving Normalization-Activation Layers

题目： Evolving Normalization-Activation Layers

简介：

归一化层和激活函数是深度神经网络中经常采用的关键组件。除了将它们分开设计之外，我们将它们统一为一个计算图，并从低级开始发展其结构。我们的层搜索算法EvoNorms发现，EvoNorms是超越现有设计模式的一组新的进化激活层。这些层中的几个层具有独立于批量处理统计信息的属性。我们的实验表明，EvoNorms不仅在包括ResNets，MobileNets和EfficientNets在内的各种图像分类模型上表现出色，而且还可以很好地转移到Mask R-CNN进行实例分割和BigGAN进行图像合成，从而大大优于基于BatchNorm和GroupNorm的图层。

https://arxiv.org/pdf/2004.02967.pdf

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“ENAL” 就可以获取《【Google大脑】进化正则激活层，Evolving Normalization-Activation Layers》论文专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源