深度学习中训练参数的调节技巧

2018 年 2 月 8 日 机器学习研究会

1、学习率

步长的选择:你走的距离长短,越短当然不会错过,但是耗时间。步长的选择比较麻烦。步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优

重要性:学习率>正则值>dropout

学习率:0.001,0.01,0.1,1,10  …….以10为阶数尝试

小数据集上合适的参数大数据集上一般不会差,可以先减少训练类别。


转自:大数据挖掘DT数据分析


完整内容请点击“阅读原文”

登录查看更多
9

相关内容

[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
34+阅读 · 2020年7月5日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
25+阅读 · 2020年5月7日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
20+阅读 · 2019年12月31日
零样本图像分类综述 : 十年进展
专知会员服务
126+阅读 · 2019年11月16日
网络宽度对深度学习模型性能有什么影响?
极市平台
15+阅读 · 2019年7月7日
如何理解模型的过拟合与欠拟合,以及如何解决?
七月在线实验室
12+阅读 · 2019年4月23日
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
keras系列︱深度学习五款常用的已训练模型
数据挖掘入门与实战
10+阅读 · 2018年3月27日
如何找到最优学习率?
AI研习社
11+阅读 · 2017年11月29日
[学习] 这些深度学习网络调参技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月30日
[学习] 这些深度学习网络训练技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月29日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
7+阅读 · 2018年3月22日
VIP会员
相关资讯
网络宽度对深度学习模型性能有什么影响?
极市平台
15+阅读 · 2019年7月7日
如何理解模型的过拟合与欠拟合,以及如何解决?
七月在线实验室
12+阅读 · 2019年4月23日
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
keras系列︱深度学习五款常用的已训练模型
数据挖掘入门与实战
10+阅读 · 2018年3月27日
如何找到最优学习率?
AI研习社
11+阅读 · 2017年11月29日
[学习] 这些深度学习网络调参技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月30日
[学习] 这些深度学习网络训练技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月29日
相关论文
Top
微信扫码咨询专知VIP会员