深度学习中训练参数的调节技巧

2018 年 2 月 8 日 机器学习研究会

1、学习率

步长的选择:你走的距离长短,越短当然不会错过,但是耗时间。步长的选择比较麻烦。步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优

重要性:学习率>正则值>dropout

学习率:0.001,0.01,0.1,1,10  …….以10为阶数尝试

小数据集上合适的参数大数据集上一般不会差,可以先减少训练类别。


转自:大数据挖掘DT数据分析


完整内容请点击“阅读原文”

登录查看更多
9

相关内容

[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
36+阅读 · 2020年7月5日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
28+阅读 · 2020年1月16日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
21+阅读 · 2019年12月31日
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
[学习] 这些深度学习网络调参技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月30日
[学习] 这些深度学习网络训练技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月29日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
7+阅读 · 2018年3月22日
VIP会员
相关VIP内容
相关资讯
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
[学习] 这些深度学习网络调参技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月30日
[学习] 这些深度学习网络训练技巧,你了解吗?
菜鸟的机器学习
7+阅读 · 2017年7月29日
相关论文
Arxiv
45+阅读 · 2019年12月20日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
7+阅读 · 2018年3月22日
Top
微信扫码咨询专知VIP会员