【浪潮AI】自动超参数优化:算法和应用综述论文，56页pdf，Hyper-Parameter Optimization

深度神经网络的发展，为人们的日常生活产生了巨大的影响。机器学习几乎在日常生活的每一个方面都提供了比人类更合理的建议。然而，尽管取得了这些成就，神经网络的设计和训练仍然是具有挑战性和不可预测的过程。为了降低普通用户的技术门槛，自动化超参数优化(HPO)已成为学术界和工业界的热门话题。本文对HPO中最基本的主题进行了综述。第一部分介绍了与模型训练和结构相关的关键超参数，并讨论了它们的重要性和定义值范围的方法。然后，研究了主要的优化算法及其适用性，包括它们的效率和准确性，特别是对于深度学习网络。本研究接下来将回顾HPO的主要服务和工具包，比较它们对最先进的搜索算法的支持、与主要深度学习框架的可行性以及用户设计的新模块的可扩展性。本文总结了HPO在深度学习中存在的问题，优化算法的比较，以及在计算资源有限的情况下进行模型评估的突出方法。