13小时2600赞,特斯拉大佬Karpathy博客《A Recipe for Training Neural Networks》

【导读】Andrej Karpathy是特斯拉自动驾驶神经网络主管,曾是李飞飞的徒弟。他今天发布了博客《A Recipe for Training Neural Networks》介绍了神经网络训练的各种技巧,在Twitter上仅13小时就获得了2600+赞和833转发。


Andrej Karpathy是特斯拉自动驾驶神经网络主管,曾是李飞飞的徒弟。他的主页上有关于他经历的介绍:

2017-now: Director of AI at Tesla Neural Networks for the Autopilot 
2016-2017: Research Scientist at OpenAI Deep Learning, Generative Models, Reinforcement Learning 
Summer 2015: DeepMind Internship Deep Reinforcement Learning group 
Summer 2013: Google Research Internship Large-Scale Supervised Deep Learning for Videos 
2011-2015: Stanford Computer Science Ph.D. student Deep Learning, Computer Vision, Natural Language Processing. Adviser: Fei-Fei Li. 
Summer 2011: Google Research Internship Large-Scale Unsupervised Deep Learning for Videos 
2009-2011: University of British Columbia: MSc Learning Controllers for Physically-simulated Figures. Adviser: Michiel van de Panne 
2005-2009: University of Toronto: BSc Double major in Computer Science and Physics 


Andrej Karpathy今天发布了博客《A Recipe for Training Neural Networks》:

https://karpathy.github.io/2019/04/25/recipe/


《A Recipe for Training Neural Networks》大致目录如下:

  • 掌握数据

  • 建立端到端训练/评价框架和哑基准线

    • 固定随机种子

    • 简化

    • 在评估中添加重要数字

    • 在初始阶段验证损失

    • 初始化

    • 人类基准线

    • 设置一个独立于输入的基准线

    • 过拟合一个batch

    • 验证减少训练损失

    • 网络传播前可视化

    • 可视化预测动态

    • 使用反向传播来获得依赖关系:

    • 泛化特例

  • 过拟合

    • 选择模型

    • Adam是安全的

    • 一次只复杂化一个

    • 不要相信学习率衰减默认值

  • 正则化

    • 获取更多数据

    • 数据增强

    • 有创意的增强

    • 预训练

    • 坚持监督学习

    • 更低的输入维度

    • 更小的模型

    • 减小批尺寸

    • Dropout

    • 权重衰减

    • 早停法

    • 尝试大模型

  • 调参

    • 随机网格搜索

    • 超参优化

  • 继续压榨

    • 集成

    • 放着让它训练


请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“RTNN”就可以获取《A Recipe for Training Neural Networks》下载链接~


原文截图:


参考资料:

https://karpathy.github.io/2019/04/25/recipe/


-END-

专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!530+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

展开全文
Top
微信扫码咨询专知VIP会员