深度神经网络的发展,为人们的日常生活产生了巨大的影响。机器学习几乎在日常生活的每一个方面都提供了比人类更合理的建议。然而,尽管取得了这些成就,神经网络的设计和训练仍然是具有挑战性和不可预测的过程。为了降低普通用户的技术门槛,自动化超参数优化(HPO)已成为学术界和工业界的热门话题。本文对HPO中最基本的主题进行了综述。第一部分介绍了与模型训练和结构相关的关键超参数,并讨论了它们的重要性和定义值范围的方法。然后,研究了主要的优化算法及其适用性,包括它们的效率和准确性,特别是对于深度学习网络。本研究接下来将回顾HPO的主要服务和工具包,比较它们对最先进的搜索算法的支持、与主要深度学习框架的可行性以及用户设计的新模块的可扩展性。本文总结了HPO在深度学习中存在的问题,优化算法的比较,以及在计算资源有限的情况下进行模型评估的突出方法。

成为VIP会员查看完整内容
53

相关内容

人工神经网络(Artificial Neural Network,即ANN),它从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
最新《动态网络嵌入》综述论文,25页pdf
专知会员服务
133+阅读 · 2020年6月17日
最新《深度半监督学习》综述论文,43页pdf
专知会员服务
152+阅读 · 2020年6月12日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
126+阅读 · 2020年5月14日
专知会员服务
98+阅读 · 2020年3月19日
深度神经网络模型压缩与加速综述
专知会员服务
125+阅读 · 2019年10月12日
一文看懂AutoEncoder模型演进图谱
AINLP
12+阅读 · 2019年6月17日
AutoML:机器学习的下一波浪潮(附代码&链接)
THU数据派
4+阅读 · 2019年4月29日
AutoML:机器学习的下一波浪潮
AI前线
8+阅读 · 2019年4月27日
Auto-Keras与AutoML:入门指南
云栖社区
16+阅读 · 2019年2月9日
深度|拥抱人工智能报告:中国未来就业的挑战与应对
机器人大讲堂
5+阅读 · 2018年9月24日
最全技术图谱!一文掌握人工智能各大分支技术
CSDN大数据
5+阅读 · 2017年7月13日
Arxiv
4+阅读 · 2019年4月17日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
3+阅读 · 2018年1月31日
VIP会员
相关资讯
一文看懂AutoEncoder模型演进图谱
AINLP
12+阅读 · 2019年6月17日
AutoML:机器学习的下一波浪潮(附代码&链接)
THU数据派
4+阅读 · 2019年4月29日
AutoML:机器学习的下一波浪潮
AI前线
8+阅读 · 2019年4月27日
Auto-Keras与AutoML:入门指南
云栖社区
16+阅读 · 2019年2月9日
深度|拥抱人工智能报告:中国未来就业的挑战与应对
机器人大讲堂
5+阅读 · 2018年9月24日
最全技术图谱!一文掌握人工智能各大分支技术
CSDN大数据
5+阅读 · 2017年7月13日
微信扫码咨询专知VIP会员