深度学习如炼丹,你有哪些迷信做法?网友:Random seed=42结果好

2021 年 12 月 22 日 极市平台
↑ 点击 蓝字  关注极市平台

来源丨机器之心
编辑丨极市平台

极市导读

 

调参的苦与泪,还有那些「迷信的做法」。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

调参的苦与泪,还有那些「迷信的做法」。


每个机器学习领域的研究者都会面临调参过程的考验,当往往说来容易做来难。调参的背后往往是通宵达旦的论文研究与 GitHub 查阅,并需要做大量的实验,不仅耗时也耗费大量算力,更深深地伤害了广大工程师的头发。


有人不禁要问:调参是门玄学吗?为什么模型明明调教得很好了,可是效果离我的想象总有些偏差。

近日,reddit 上一则帖子引发了网友热议,「 机器学习调参领域有哪些迷信的看法或做法呢?


原贴地址:https://www.reddit.com/r/MachineLearning/comments/rkewa3/d_what_are_your_machine_learning_superstitions/?sort=confidence

关于调参的那些「秘诀」

在机器学习中,超参数调整是一项必备技能,通过观察在训练过程中的监测指标如损失 loss 和准确率来判断当前模型处于什么样的训练状态,及时调整超参数以更科学地训练模型能够提高资源利用率。

每个人都会根据自己的实际经验进行模型调参,最终,绝大多数研究者可能得出的经验就是:

  • Random seed = 0 得到坏的结果

  • Random seed = 42 得到好的结果

  • Even-valued k in k-Means = insightful segmentation


有人将这一经验总结奉为所谓的 ML「迷信做法」,但其实不然,几乎所有学者都这样做。

不过,也有网友对这一经验总结持怀疑态度:网友 @SlashSero 遗憾地表示,这种情况甚至会出现在非常有名的科学出版物上,尤其是在交叉验证不可行或者易受其他参数选择影响的机器学习应用中,因此超参数优化(HPO)不可行。不妨看看 NeurIPS 会议论文有多少拥有真正透明的代码库和易于复现的交叉验证研究,以证实他们的工作较去年提升了 0.5-1% 的性能。

另外,很多时候出于对研究者的信任,但其实会导致新的深度学习模型在实践中并没有表现出明显优于传统模型的性能。我们应该看到,社区存在这样一种现状:花费大量时间确保模型真正兑现它所表现出的性能,并且可复现和透明,这是一项吃力不讨好的工作。消耗计算资源不说,还有可能失去在一个发展极快的领域发表论文和获得表彰的机会。


为了实现模型最佳性能,各路网友也纷纷晒出自己的炼丹经验:有网友认为 Random seed 必须是 10 的倍数,最好是 1000(不过该回答遭到了别人的反驳)。


除了 Random seed 设置外,有研究者分享了自己的一些科研小技巧。

模型的训练过程,近乎黑盒,假如期间发生程序错误,很难察觉到,有网友建议随时随地进行「print」是一个很好的习惯,在程序第一次运行时,一定要打印所有可能的东西,「print」能让你知道程序进行到哪一步,有没有陷入死循环...... 其实,绝大多数程序员都会这样做。


除了「print」外,有人表示日志记录也非常有必要,在实验室做科研,有时为了跑一个程序,需要花费好几天的时间,但总有那么不顺心的地方,要么好久不断电的实验室突然断电,要么服务器崩了…… 所以随时随地保存日志也是每个程序员必备的,查看日志记录,你能发现程序运行到哪了,粗略估计模型性能,还能查看错误:


还有网友晒出了自己的 dropout 经验,认为超过 20% 的 dropout 将使该模式难以恢复。不过这只是这位网友自己的经验,也有人表示自己采用 90% 的 dropout,模型性能最好。


除此以外,有网友总结了批大小应该是 2 的幂次方。


以上就是网友总结的一些 ML 炼丹小技巧。

玄学论文难复现

虽然调参有用,但网友 @ostrich-scalp 犀利地批驳道,「大多数论文的结果都是胡说八道,将我的职业生涯都用来实现这些工作并期望创建像模像样可用于生产的模型,这是一个极大的错误。」


上面那位老哥 @SlashSero 接茬说道,「令人难以置信的是,ACM、IEEE、IAAA 和 NeurIPS 上发表的论文有多少完全只是出于对作者的信任。到现在为止,你可能希望所有知名期刊和会议都要求论文作者开源和复现代码,但这种情况只是例外。」


显然,机器学习是一门技术。虽然神经网络黑箱的状态让可解释性受限,但我们可以在较高层面上通过经验解决面临的问题。我们需要加载数据,建立框架,让系统运行起来,设定度量标准,调整参数并分析误差,进行特征工程,结果可视化等等步骤。最终经过数次迭代直至推理的准确率不再提升。

那么为什么各种玄学现象仍然不断出现,拷问着我们的心灵?看来,我们对这门学科的了解还不够多。

不过请记住 NIPS 2017 大会上图灵奖得主 Judea Pearl 演讲的最后一页 Keynote:


数据科学仅当能促进对数据的合理解读时才能被称为科学。

不过也不用怕,深度学习调参总还是有技巧可循的,大致可以总结如下。这些算不得迷信做法,仅供参考。

  • 寻找合适的学习率。作为一个非常重要的参数,学习率面对不同规模、不同 batch-size、不同优化方式和不同数据集,它的最合适值都是不确定的。我们唯一可以做的,就是在训练中不断寻找最合适当前状态的学习率;

  • 权重初始化。相比于其他的 trick 来说使用并不是很频繁。只有那些没有预训练模型的领域会自己初始化权重,或者在模型中去初始化神经网络最后那几个全连接层的权重。常用权重初始化算法是「kaiming_normal」或「xavier_normal」;

  • 数据集处理,主要有数据筛选和数据增强;

  • 多模型融合,这是论文刷结果的终极核武器,深度学习中一般有几种方式,比如同样的参数,不同的初始化方式;不同的参数,通过交叉验证选取最好的几组;不同的模型,进行线性融合,例如 RNN 和传统模型;

  • 余弦退火和热重启的随机梯度下降。余弦退火就是学习率类似余弦函数慢慢下降,热重启就是在学习的过程中,学习率慢慢下降然后突然再回弹 (重启) 然后继续慢慢下降;

  • 尝试过拟合一个小数据集。关闭正则化 / 随机失活 / 数据扩充,使用训练集的一小部分,让神经网络训练几个周期。确保可以实现零损失,如果没有,那么很可能什么地方出错了。

  • ……


调参路上各有各的「路数」,适合自己就好。

最后问一句,炼丹的你有哪些独门秘籍呢?

参考链接:

https://www.jiqizhixin.com/articles/2020-10-21-3

https://picture.iczhiku.com/weixin/message1609136710592.html

如果觉得有用,就请分享到朋友圈吧!

△点击卡片关注极市平台,获取 最新CV干货

公众号后台回复“transformer”获取最新Transformer综述论文下载~


极市干货
课程/比赛: 珠港澳人工智能算法大赛 保姆级零基础人工智能教程
算法trick 目标检测比赛中的tricks集锦 从39个kaggle竞赛中总结出来的图像分割的Tips和Tricks
技术综述: 一文弄懂各种loss function 工业图像异常检测最新研究总结(2019-2020)


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~



觉得有用麻烦给个在看啦~   
登录查看更多
0

相关内容

周志华教授:关于深度学习的一点思考
专知会员服务
121+阅读 · 2021年11月23日
专知会员服务
19+阅读 · 2021年9月16日
专知会员服务
47+阅读 · 2021年5月21日
ICLR 2021 评审出炉!来看看得分最高的50篇论文是什么!
专知会员服务
40+阅读 · 2020年11月13日
最新最全最详细中文版-《迁移学习简明手册》pdf分享
专知会员服务
100+阅读 · 2020年9月25日
专知会员服务
146+阅读 · 2020年6月15日
别再龟速炼丹了!聊聊怎样科学提升训练效率
夕小瑶的卖萌屋
0+阅读 · 2022年4月2日
抓住训练集中真正有用的样本,提升模型整体性能!
夕小瑶的卖萌屋
0+阅读 · 2021年8月16日
深度学习网络调参技巧
AINLP
15+阅读 · 2019年11月15日
你有哪些深度学习(rnn、cnn)调参的经验?
七月在线实验室
10+阅读 · 2019年3月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2022年4月20日
Arxiv
23+阅读 · 2017年3月9日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员