DeepMind深度学习最佳实践与新技术展望,181页PPT全景展示最近深度学习技术

2017 年 12 月 14 日 人工智能学家

来源:专知

概要:在NIPS2017上,DeepMind及Google所发布的教程《深度学习实战及趋势》(Deep Learning: Practice and Trends)对最新的深度学习技术及2017年的技术新趋势做了详细总结。这次报告内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。


摘要


深度学习已经成为各种实际应用,研究实验室,工业领域的基本工具。在本教程中,我们将提供一套指导实践方法,帮助新手了解最新和先进的模型, (例如图像,视频,波形,序列,图形)以及复杂的任务(如从一些简单样本中学习,或者生成分子)的应用。


内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。



每一部分都是从模型的输入输出,结构以及损失函数三部分来介绍。



演讲者


Nando de Freitas 剑桥大学机器学习教授,Deepmind研究科学家主

https://www.cs.ox.ac.uk/people/nando.defreitas/


ScottReed DeepMind高级研究科学家

http://www.scottreed.info/


Oriol Vinyals Google研究科学家

https://research.google.com/pubs/OriolVinyals.html


实践部分


深度学习工具箱




卷积网络


-    卷积基本结构

-     AlexNet

-      深层卷积的挑战,实践与技巧

-      ResNet,DenseNet,U-Net




循环网络与注意力机制


-      循环网络语言模型

-      seq2seq

-      seq2seq with Attention




趋势部分


自回归模型


-      NADE, MADE, RIDE,PixelCNN,WaveNet

-      因果卷积(causal convolutions)

-      Self-Attenion




领域对齐


-      跨领域图像生成

-      CycleGAN

-      图像到图像翻译(Image-to-image Translation)

-      DiscoGAN

-      GraspGAN

-      无监督机器翻译




元学习


-      Meta Learning/Learning to Learn

-      One-shot imitation learning



图结构和神经网络


-      消息传递神经网络(Message Passing Neural Networks

-      Gated Graph neural networks



参考:


https://nips.cc/Conferences/2017/Schedule?showEvent=8730

https://www.youtube.com/watch?v=C80S_2mivFA


PPT简介


专知内容组专门整理出《深度学习实战及趋势》报告PPT:



未来智能实验室致力于研究互联网与人工智能未来发展趋势,观察评估人工智能发展水平,由互联网进化论作者,计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎支持和加入我们。扫描以下二维码或点击本文左下角“阅读原文”

登录查看更多
4

相关内容

深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
208+阅读 · 2020年4月26日
【干货51页PPT】深度学习理论理解探索
专知会员服务
58+阅读 · 2019年12月24日
【ICIP2019教程-NVIDIA】图像到图像转换,附7份PPT下载
专知会员服务
53+阅读 · 2019年11月20日
视频+PPT▍AutoML技术现状与未来展望
36大数据
6+阅读 · 2019年2月21日
【微软亚研130PPT教程】强化学习简介
专知
36+阅读 · 2018年10月26日
知识图谱中的深度学习技术应用概述
深度学习与NLP
11+阅读 · 2018年9月13日
八大深度学习最佳实践
AI100
4+阅读 · 2018年1月31日
8个深度学习方面的最佳实践
CSDN
3+阅读 · 2018年1月28日
Arxiv
9+阅读 · 2019年4月19日
Arxiv
26+阅读 · 2019年3月5日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
15+阅读 · 2018年6月23日
VIP会员
Top
微信扫码咨询专知VIP会员