由五名研究人员和工程师组成的团队发布了《Deep Learning Tuning Playbook》,来自他们自己训练神经网络的实验结果以及工程师的一些实践建议,目前在Github上已有1.5k星。

手册地址:https://github.com/google-research/tuning_playbook 作者: Varun Godbole,George E.Dahl,Justin Gilmer,Christopher J.Shallue,Zachary Nado 该项目也得到了图灵奖获得者,谷歌 AI 科学家 Geoffrey Hinton 等人的推荐,Geoffrey Hinton 表示「大量的实践经验已被提炼成这份强大的深度学习模型调参指南。」

本手册适用范围为:对系统地最大化深度学习模型性能感兴趣的工程师和研究人员,包括个人和团队(需要掌握机器学习基本知识和深度学习概念),其中内容主要聚焦超参数调整,因为这是作者们在工作中耗时最多、收获也最多的环节。 内容可以分为四大部分: * 指导开始新项目 * 改善模型性能的科学方法 * 如何决定每次训练运行步数 * 训练过程中的其他经验

作者之一、谷歌大脑团队的研究科学家George E.Dahl 表示:现在要想让深度神经网络在实践中运行良好,需要付出惊人的努力和猜测,但人们用来获得深度学习良好结果的实际配方很少被记录下来。论文虽然呈现了一个完美的结果,但是掩盖了原来的过程,而从事商业问题的机器学习工程师很少有时间退一步,去回溯原来的过程。 教科书优先考虑基本原理,比较少的针对于实践指导,但我们却有大量问题是在应用中需要被解决的。虽然我们在社交媒体或者文章中发现一些「技巧」但是新手从业者和专家级别在获得结果的过程中,仍在存在较大的差距,这是做Deep Learning Tuning Playbook的初衷。

目前记录深度学习过程的内容非常有限,我们希望通过发布这个手册来改变这一现状。我们会尽量说明详细的工作流程,并不断的迭代更新。 作者:

Varun Godbole,目前是谷歌AI的一名软件工程师,主要经验集中在建模和构建处理大型数据集的基础设施方面。 George E. Dahl,是谷歌大脑团队的研究科学家,他的研究集中在高度灵活的模型上,并且他还对语言、感知数据以及化学、生物和医学数据的应用感兴趣。 Justin Gilmer,谷歌大脑的研究科学家,他在Google Scholar上引用已经破万,主要研究方向为深度学习、组合型、随机图论。 Christopher Shallue,目前正在攻读哈佛大学的天体物理学博士学位,在此之前,他曾在谷歌工作了5年10个月。 Zachary Nado,谷歌大脑的研究工程师,本科就读期间,曾先后在谷歌和SpaceX实习,研究领域包括数据挖掘与建模、机器智能、NLP等。

成为VIP会员查看完整内容
34

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【2022新书】数据科学的实用线性代数,328页pdf
专知会员服务
135+阅读 · 2022年9月17日
2022新年荐书!最值得一读的8部机器学习教程(PDF下载)
专知会员服务
113+阅读 · 2022年1月11日
PyTorch 官方推荐了一份 60 分钟的深度学习指南
技术最前线
20+阅读 · 2019年10月17日
强推!《PyTorch中文手册》来了
新智元
33+阅读 · 2019年2月14日
【干货】Yann Lecun自监督学习指南(附114页Slides全文)
GAN生成式对抗网络
93+阅读 · 2018年12月19日
推荐|给你12本热门的深度学习书籍
全球人工智能
17+阅读 · 2018年3月18日
为你推荐一份深度学习书单,来学习吧~
THU数据派
12+阅读 · 2018年3月13日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
31+阅读 · 2023年1月8日
Arxiv
15+阅读 · 2018年6月23日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员