【重磅前沿】深度学习理论,斯坦福大学Fall 2017最新课程(STATS 385-附PPT下载,课程目录视频)

2017 年 11 月 8 日 专知 专知内容组

【导读】斯坦福大学《深度学习理论》《Theories of Deep Learning》

课程邀请相关专家带你探究深度学习背后的理论基础,解开深度学习的黑盒,带你知其然知其所以然。专知内容组特别整理为大家展现,欢迎大家阅读,转发分享文末查看课程PPT下载



深度学习理论

深度学习的理论探讨比应用滞后了“好几个量级”。在2017未来科学大奖颁奖盛典,南京大学教授周志华在与深鉴科技联合创始人汪玉对话时表示,深度学习的理论探讨比应用滞后了“好几个量级”,在谈及人工智能近期的热潮时表示,这是源于机器学习在过去15年里取得了飞速进展,而机器学习的实质就是人类希望通过计算机来寻找出数据中所包含的规律;周志华认为,目前深度学习的优势在于能更好地发挥出数据的作用,而且目前深度模型多是基于神经网络,这就能更方便快捷地利用上新增加的能力,但同时深度学习模型的理论基础不是特别扎实,“很多时候它到底怎样能做得更好是在靠尝试,而不是有一个很清楚的理论告诉我们该怎么做、不该怎么做,这是它的弱点。”他认为,深度学习的理论探讨比应用滞后了“好几个量级”。

工程化的门槛越来越低,而理论的门槛越来越高。密歇根州立大学助理教授汤继良认为,深度学习工程化的门槛越来越低,而理论的门槛越来越高:深度学习正在两极化。大部分甚至越来越多的深度学习的人会偏向于工程化。包括建立更加全面便捷,快速可视化的深度学习平台,甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化:解决深度学习的理论瓶颈包括可解释性等。一个正在发生的趋势是:工程化的门槛越来越低,而理论的门槛越来越高。

斯坦福大学《深度学习理论》课程邀请相关专家待你探究深度学习背后的理论基础,解开深度学习的黑盒,带你知其然知其所以然。

【斯坦福课程:深度学习理论】《Theories of Deep Learning》

课程简介

如今深度学习在各个领域取得的一系列成功仅仅是依靠各种经验的堆叠。但是挖掘这些成功背后的理论支持也是很重要的。在这门概述课程将探究Burna and Mallat, Mhaskar and Poggio, Papyan and Elad, Bolsckei and co-authors, Baraniuk以及他们合作者的一些最新研究,并试图建立起深度学习的理论框架。除了开始的背景介绍的课程,我们还有一些嘉宾作者对他们关于深度学习理论研究的报告。 网址链接:https://stats385.github.io/


主讲 David Donoho, Hatef Monajemi, Vardan Papyan

课程列表

  1. Lecture01: Deep Learning Challenge. Is There Theory? (Donoho/Monajemi/Papyan)

    • 深度学习的挑战:背后是否有理论的支撑?

    • 视频链接: [https://v.qq.com/x/page/h05028esp6o.html]

    • PPT: [https://stats385.github.io/assets/lectures/StanfordStats385-20170927-Lecture01-Donoho.pdf]


  2. Lecture02: Overview of Deep Learning From a Practical Point of View (Donoho/Monajemi/Papyan)

    • 深度学习概况—从实践的角度

    • 视频链接: [https://v.qq.com/x/page/q0502rw18u1.html]

    • PPT: [https://stats385.github.io/assets/lectures/Lecture-02-AsCorrected.pdf]



  3. Lecture03: Harmonic Analysis of Deep Convolutional Neural Networks (Helmut Bolcskei)

    • 深度卷积网络的调和分析方法

    • 视频链接: [https://v.qq.com/x/page/w0502gc5zrj.html]

    • PPT: [https://stats385.github.io/assets/lectures/bolcskei-stats385-slides.pdf]


  4. Lecture04: Convnets from First Principles: Generative Models, Dynamic Programming & EM (Ankit Patel)

    • 从基本原理出发学习卷积网络:生成模型,动态规划以及EM算法

    • 网址链接: [https://v.qq.com/x/page/u05027yj563.html]

    • PPT: [https://stats385.github.io/assets/lectures/bolcskei-stats385-slides.pdf]


  5. Lecture05: When Can Deep Networks Avoid the Curse of Dimensionality and Other Theoretical Puzzles (Tomaso Poggio)

    • 什么时候深度网络可以避免维度灾难以及其他理论困扰

    • 网址链接: [https://v.qq.com/x/page/h05028esp6o.html]

    • PPT: [https://stats385.github.io/assets/lectures/StanfordStats385-20171025-Lecture05-Poggio.pdf]

  6. Lecture06: Views of Deep Networks from Reproducing Kernel Hilbert Spaces (Zaid Harchaoui)

    • 从再生希尔伯特空间看深度网络

    • 网址链接: [https://v.qq.com/x/page/h05028esp6o.html]

    • PPT: [https://stats385.github.io/assets/lectures/lecture6_stats385_stanford_nov17.pdf]


参考文献 http://ai.techweb.com.cn/2017-10-31/2599797.shtml



欢迎转发到你的微信群和朋友圈,分享专业AI知识!


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“TDL” 就可以在手机端获取深度学习理论PPT资料下载链接地址~


获取更多机器学习人工智能知识,请PC登录 www.zhuanzhi.ai或者点击阅读原文注册登录专知,顶端搜索“ 深度学习” 主题,相关知识等资料!如下图所示~ 



请查看专知荟萃知识资料全集获取,请查看:

【专知荟萃01】深度学习知识资料大全集(入门/进阶/论文/代码/数据/综述/领域专家等)(附pdf下载)

【专知荟萃02】自然语言处理NLP知识资料大全集(入门/进阶/论文/Toolkit/数据/综述/专家等)(附pdf下载)

【专知荟萃03】知识图谱KG知识资料全集(入门/进阶/论文/代码/数据/综述/专家等)(附pdf下载)

【专知荟萃04】自动问答QA知识资料全集(入门/进阶/论文/代码/数据/综述/专家等)(附pdf下载)

【专知荟萃05】聊天机器人Chatbot知识资料全集(入门/进阶/论文/软件/数据/专家等)(附pdf下载)

【专知荟萃06】计算机视觉CV知识资料大全集(入门/进阶/论文/课程/会议/专家等)(附pdf下载)

【专知荟萃07】自动文摘AS知识资料全集(入门/进阶/代码/数据/专家等)(附pdf下载)

【专知荟萃08】图像描述生成Image Caption知识资料全集(入门/进阶/论文/综述/视频/专家等)

【教程实战】Google DeepMind David Silver《深度强化学习》公开课教程学习笔记以及实战代码完整版

【GAN货】生成对抗网络知识资料全集(论文/代码/教程/视频/文章等)

【干货】Google GAN之父Ian Goodfellow ICCV2017演讲:解读生成对抗网络的原理与应用

【AlphaGoZero核心技术】深度强化学习知识资料全集(论文/代码/教程/视频/文章等)


请扫描小助手,加入专知人工智能群,交流分享~


获取更多关于机器学习以及人工智能知识资料,请访问www.zhuanzhi.ai,  或者点击阅读原文,即可得到!

-END-

欢迎使用专知

专知,一个新的认知方式!目前聚焦在人工智能领域为AI从业者提供专业可信的知识分发服务, 包括主题定制、主题链路、搜索发现等服务,帮你又好又快找到所需知识。


使用方法>>访问www.zhuanzhi.ai, 或点击文章下方“阅读原文”即可访问专知


中国科学院自动化研究所专知团队

@2017 专知

专 · 知


关注我们的公众号,获取最新关于专知以及人工智能的资讯、技术、算法、深度干货等内容。扫一扫下方关注我们的微信公众号。

点击“阅读原文”,使用专知


登录查看更多
4

相关内容

商业数据分析,39页ppt
专知会员服务
158+阅读 · 2020年6月2日
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
229+阅读 · 2020年4月29日
【斯坦福新课】CS234:强化学习,附课程PPT下载
专知会员服务
114+阅读 · 2020年1月15日
246 页《统计机器学习与凸优化》教程 PPT 下载
新智元
24+阅读 · 2018年9月21日
资源 | 深度学习进阶视频课程+完整PPT
AI研习社
6+阅读 · 2018年9月1日
【推荐】增强学习导论(最新完整版草稿2017.11.5)
机器学习研究会
6+阅读 · 2017年11月23日
资源|斯坦福课程:深度学习理论!
全球人工智能
17+阅读 · 2017年11月9日
Arxiv
22+阅读 · 2018年8月30日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
19+阅读 · 2018年7月12日
Arxiv
3+阅读 · 2018年1月31日
VIP会员
Top
微信扫码咨询专知VIP会员