【导读】在NIPS2017上,DeepMind及Google所发布的教程《深度学习实战及趋势》(Deep Learning: Practice and Trends)对最新的深度学习技术及2017年的技术新趋势做了详细总结。这次报告内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。专知内容组整理出这次报告的全部PPT分享给大家!
▌摘要
深度学习已经成为各种实际应用,研究实验室,工业领域的基本工具。在本教程中,我们将提供一套指导实践方法,帮助新手了解最新和先进的模型, (例如图像,视频,波形,序列,图形)以及复杂的任务(如从一些简单样本中学习,或者生成分子)的应用。
内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。
每一部分都是从模型的输入输出,结构以及损失函数三部分来介绍。
请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),
后台回复“DLPT” 就可以获取深度学习实战及趋势 pdf下载~
注:原PPT181页,专知内容组去除动态页数,现为161页,没有进行删减。
▌演讲者
Nando de Freitas 剑桥大学机器学习教授,Deepmind研究科学家主
https://www.cs.ox.ac.uk/people/nando.defreitas/
ScottReed DeepMind高级研究科学家
http://www.scottreed.info/
Oriol Vinyals Google研究科学家https://research.google.com/pubs/OriolVinyals.html
▌实践部分
卷积网络
- 卷积基本结构
- AlexNet
- 深层卷积的挑战,实践与技巧
- ResNet,DenseNet,U-Net
循环网络与注意力机制
- 循环网络语言模型
- seq2seq
- seq2seq with Attention
▌趋势部分
自回归模型
- NADE, MADE, RIDE,PixelCNN,WaveNet
- 因果卷积(causal convolutions)
- Self-Attenion
领域对齐
- 跨领域图像生成
- CycleGAN
- 图像到图像翻译(Image-to-image Translation)
- DiscoGAN
- GraspGAN
- 无监督机器翻译
元学习
- Meta Learning/Learning to Learn
- One-shot imitation learning
图结构和神经网络
- 消息传递神经网络(Message Passing Neural Networks
- Gated Graph neural networks
参考:
https://nips.cc/Conferences/2017/Schedule?showEvent=8730
https://www.youtube.com/watch?v=C80S_2mivFA
▌PPT简介
专知内容组专门整理出《深度学习实战及趋势》报告PPT:
-END-
专 · 知
人工智能领域主题知识资料查看获取:【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)
同时欢迎各位用户进行专知投稿,详情请点击:
【诚邀】专知诚挚邀请各位专业者加入AI创作者计划!了解使用专知!
请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!
请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!
请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!
点击“阅读原文”,使用专知!