主题: Hyper-Parameter Optimization: A Review of Algorithms and Applications

摘要: 自深度神经网络发展以来,它们为人们的日常生活做出了巨大的贡献。机器学习在日常生活的方方面面提供了比人类所能提供的更合理的建议。然而,尽管取得了这一成就,神经网络的设计和训练仍然具有挑战性和不可预测的过程,这些过程被称为炼金术。为了降低普通用户的技术门槛,自动化超参数优化(HPO)已成为学术界和工业界的热门话题。本文对高性能氧最基本的课题进行了综述。第一节介绍了与模型训练和结构有关的关键超参数,并讨论了它们的重要性和定义取值范围的方法。然后,重点研究了主要的优化算法及其适用性,包括它们的效率和精度,特别是对于深度学习网络。本研究接下来回顾了HPO的主要服务和工具包,比较了它们对最新搜索算法的支持、与主要深度学习框架的可行性以及用户设计的新模块的可扩展性。本文总结了HPO应用于深度学习中存在的问题,优化算法的比较,以及在计算资源有限的情况下模型评估的突出方法。

成为VIP会员查看完整内容
48
0

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
自动机器学习:最新进展综述
专知会员服务
91+阅读 · 2019年10月13日
深度神经网络模型压缩与加速综述
专知会员服务
104+阅读 · 2019年10月12日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
47+阅读 · 2019年5月3日
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
5+阅读 · 2019年4月17日
图神经网络综述:方法及应用 | Deep Reading
AI100
32+阅读 · 2019年3月17日
算法优化|梯度下降和随机梯度下降 — 从0开始
全球人工智能
5+阅读 · 2017年12月25日
CNN模型压缩与加速算法综述
微信AI
5+阅读 · 2017年10月11日
CNN 模型压缩与加速算法综述
机器学习研究会
13+阅读 · 2017年8月25日
Optimization for deep learning: theory and algorithms
Arxiv
89+阅读 · 2019年12月19日
Arxiv
3+阅读 · 2019年4月25日
Arxiv
11+阅读 · 2019年3月14日
Arxiv
6+阅读 · 2018年12月26日
Arxiv
14+阅读 · 2018年6月23日
小贴士
相关VIP内容
自动机器学习:最新进展综述
专知会员服务
91+阅读 · 2019年10月13日
深度神经网络模型压缩与加速综述
专知会员服务
104+阅读 · 2019年10月12日
相关资讯
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
47+阅读 · 2019年5月3日
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
5+阅读 · 2019年4月17日
图神经网络综述:方法及应用 | Deep Reading
AI100
32+阅读 · 2019年3月17日
算法优化|梯度下降和随机梯度下降 — 从0开始
全球人工智能
5+阅读 · 2017年12月25日
CNN模型压缩与加速算法综述
微信AI
5+阅读 · 2017年10月11日
CNN 模型压缩与加速算法综述
机器学习研究会
13+阅读 · 2017年8月25日
微信扫码咨询专知VIP会员