【NIPS2017】 DeepMind深度学习最佳实践与新技术展望,181页PPT全景展示最近深度学习技术(附下载)

2017 年 12 月 13 日 专知 专知内容组(编)

【导读】在NIPS2017上,DeepMind及Google所发布的教程《深度学习实战及趋势》(Deep Learning: Practice and Trends)对最新的深度学习技术及2017年的技术新趋势做了详细总结。这次报告内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。专知内容组整理出这次报告的全部PPT分享给大家!


▌摘要




深度学习已经成为各种实际应用,研究实验室,工业领域的基本工具。在本教程中,我们将提供一套指导实践方法,帮助新手了解最新和先进的模型, (例如图像,视频,波形,序列,图形)以及复杂的任务(如从一些简单样本中学习,或者生成分子)的应用。


内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。

每一部分都是从模型的输入输出,结构以及损失函数三部分来介绍。



请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“DLPT” 就可以获取深度学习实战及趋势 pdf下载

  • 注:原PPT181页,专知内容组去除动态页数,现为161页,没有进行删减。

▌演讲者




  • Nando de Freitas 剑桥大学机器学习教授,Deepmind研究科学家主

    https://www.cs.ox.ac.uk/people/nando.defreitas/


  • ScottReed DeepMind高级研究科学家

    http://www.scottreed.info/


  • Oriol Vinyals Google研究科学家https://research.google.com/pubs/OriolVinyals.html

▌实践部分




  • 深度学习工具箱


  • 卷积网络

        -    卷积基本结构

        -     AlexNet

-      深层卷积的挑战,实践与技巧

-      ResNet,DenseNet,U-Net



  • 循环网络与注意力机制

-      循环网络语言模型

-      seq2seq

-      seq2seq with Attention



趋势部分




  • 自回归模型

-      NADE, MADE, RIDE,PixelCNN,WaveNet

-      因果卷积(causal convolutions)

-      Self-Attenion

  • 领域对齐

-      跨领域图像生成

-      CycleGAN

-      图像到图像翻译(Image-to-image Translation)

-      DiscoGAN

-      GraspGAN

-      无监督机器翻译


  • 元学习

-      Meta Learning/Learning to Learn

          -      One-shot imitation learning


  • 图结构和神经网络

-      消息传递神经网络(Message Passing Neural Networks

-      Gated Graph neural networks



参考:

https://nips.cc/Conferences/2017/Schedule?showEvent=8730

https://www.youtube.com/watch?v=C80S_2mivFA


▌PPT简介




专知内容组专门整理出《深度学习实战及趋势》报告PPT:



-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

诚邀】专知诚挚邀请各位专业者加入AI创作者计划了解使用专知!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!

点击“阅读原文”,使用专知

登录查看更多
7

相关内容

【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
179+阅读 · 2020年5月29日
【干货51页PPT】深度学习理论理解探索
专知会员服务
61+阅读 · 2019年12月24日
【ICIP2019教程-NVIDIA】图像到图像转换,附7份PPT下载
专知会员服务
53+阅读 · 2019年11月20日
基于深度学习的文本生成【附217页PPT下载】
专知
35+阅读 · 2018年11月24日
八大深度学习最佳实践
AI100
4+阅读 · 2018年1月31日
8个深度学习方面的最佳实践
CSDN
3+阅读 · 2018年1月28日
Arxiv
9+阅读 · 2019年4月19日
Arxiv
3+阅读 · 2019年3月29日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
8+阅读 · 2018年5月1日
VIP会员
相关论文
Arxiv
9+阅读 · 2019年4月19日
Arxiv
3+阅读 · 2019年3月29日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
8+阅读 · 2018年5月1日
Top
微信扫码咨询专知VIP会员