【Google大脑】进化正则激活层，Evolving Normalization-Activation Layers

题目： Evolving Normalization-Activation Layers

简介：

归一化层和激活函数是深度神经网络中经常采用的关键组件。 除了将它们分开设计之外，我们将它们统一为一个计算图，并从低级开始发展其结构。 我们的层搜索算法EvoNorms发现，EvoNorms是超越现有设计模式的一组新的进化激活层。 这些层中的几个层具有独立于批量处理统计信息的属性。 我们的实验表明，EvoNorms不仅在包括ResNets，MobileNets和EfficientNets在内的各种图像分类模型上表现出色，而且还可以很好地转移到Mask R-CNN进行实例分割和BigGAN进行图像合成，从而大大优于基于BatchNorm和GroupNorm的图层。