【Google大脑】AutoML-Zero: 从无到有演化机器学习算法，Evolving Machine Learning

机器学习研究在模型结构和学习方法等多个方面都取得了进展。自动化这类研究的努力，即AutoML，也取得了重大进展。然而，这一进展主要集中在神经网络的架构上，它依赖于复杂的专家设计的层作为构建块——或者类似的限制性搜索空间。我们的目标是证明AutoML可以走得更远:今天，只要使用基本的数学运算作为构建块，就有可能自动发现完整的机器学习算法。我们通过引入一个新的框架来证明这一点，该框架通过一个通用的搜索空间来显著减少人类的偏见。尽管这个空间很大，进化搜索仍然可以发现通过反向传播训练的两层神经网络。这些简单的神经网络可以通过在感兴趣的任务上直接进化而被超越，例如CIFAR-10变体，现代技术出现在顶级算法中，例如双线性交互、标准化梯度和加权平均。此外，进化使算法适应不同的任务类型:例如，当可用的数据很少时，就会出现类似dropout的技术。我们相信，机器学习算法从无到有的初步成功为这一领域指明了一个有希望的新方向。