【综述】超参数优化:算法和应用综述，Hyper-Parameter Optimization: A Review of Algorithms and Applications

主题： Hyper-Parameter Optimization: A Review of Algorithms and Applications

摘要： 自深度神经网络发展以来，它们为人们的日常生活做出了巨大的贡献。机器学习在日常生活的方方面面提供了比人类所能提供的更合理的建议。然而，尽管取得了这一成就，神经网络的设计和训练仍然具有挑战性和不可预测的过程，这些过程被称为炼金术。为了降低普通用户的技术门槛，自动化超参数优化（HPO）已成为学术界和工业界的热门话题。本文对高性能氧最基本的课题进行了综述。第一节介绍了与模型训练和结构有关的关键超参数，并讨论了它们的重要性和定义取值范围的方法。然后，重点研究了主要的优化算法及其适用性，包括它们的效率和精度，特别是对于深度学习网络。本研究接下来回顾了HPO的主要服务和工具包，比较了它们对最新搜索算法的支持、与主要深度学习框架的可行性以及用户设计的新模块的可扩展性。本文总结了HPO应用于深度学习中存在的问题，优化算法的比较，以及在计算资源有限的情况下模型评估的突出方法。