DeepMind最新深度学习研究：超参选择利器-引入基于群体的训练- 专知

DeepMind最新深度学习研究：超参选择利器-引入基于群体的训练

【导读】机器学习的训练和优化是现代深度学习模型中最具有挑战性的方面，本文首先介绍了常用的深度学习超参数优化方法：随机搜索和手动优化，然后引入DeepMind关于深度学习模型超参数优化的最新研究进展：基于群体的训练（population based training）, 它能够在更短的时间和更低的计算资源占用的情况下找到好的超参. 相信会被引入到更多的深度学习框架中，文末附有paper地址和GitHub地址，感兴趣的朋友可以详细了解一下。

What’s New in Deep Learning Research: Introducing Population Based Training

深度学习研究的新进展：基于群体的训练

深度学习模型的训练和优化是任何现代机器智能（MI）解决方案中最具挑战性的方面。在许多情况下，数据科学家能够迅速为特定问题找到正确的算法集，然后要花费若干月找到模型的最优解。最近，DeepMind发表了一篇新的研究论文，其中提出了一种新的方法，用于训练和优化深度学习模型——称为基于群体的训练（population based training）。

传统深度学习模型的优化致力于：在避免急剧改变模型的核心组件的前提下最大限度地减少测试误差。深度学习优化中最重要的方法之一是调整与模型本身正交的元素。深度学习理论通常将这些元素称为超参数。通常，深度学习程序中的超参数包括诸如隐藏单元的数量、可以调整学习速率等要素以提高特定模型的性能等。

优化超参数是在深度学习功能的性能与其成本之间找到平衡的博弈。诸如随机梯度下降及其变种算法已成为深度学习优化的核心，但在大规模场景中应用时仍面临重大挑战。通常，深度学习超参数优化有两种主要方法：随机搜索和手动优化。在随机搜索场景中，采用不同超参数的模型将各自独立并行训练，训练结束时选择性能最高的那个模型。通常情况下，这意味着只有小部分模型是拿着较好的超参数去训练的，而其余模型的超参数是有问题的结果而然不好，甚至可以说是在浪费计算资源, 如下图所示。