会员服务

MIT课程：深度学习背后的科学—架起理论与实践的桥梁

专知出品

【导读】深度学习最近的成就很大程度上基于经验，不过，学者们总是在试图在理论层面上解释发展背后的原因。在MIT新推出的课程《Science of Deep Learning: Bridging Theory and Practice》中，我们将从讲师 Andrew Ilyas、Dimitris Emmanouil Zampetakis 等人那里，试图建立神经网络背后的理论体系，使深度学习从单纯的工程实践技术上升的科学研究层面。


6.883深度学习科学：理论与实践的桥梁——2018年春季


最近在深度学习方面的进展使我们能够在机器学习、计算机视觉和机器人技术的许多任务上取得巨大进展。然而，我们仍然无法理解这种成功的根源，以及深度学习的作用原理。


本课程旨在涵盖深度学习最新发展的一些基本概念和现象。我们将探讨神经网络训练的优化问题；深度学习模型的泛化；生成模型，如生成对抗网络(GANs)和变分自编码器(VAEs);机器学习的对抗性；深度学习模型的可解释性、鲁棒性和保密性；(深度)强化学习。


课程内容包括深度学习领域的一些最新进展，以及与此相关的最优化、学习理论、统计学和博弈论等主题。所提供的材料将为随后的课堂讨论提供一个起点，讨论所提出的最新技术的优缺点。


课程计划的目标是解决其中一些已确定的缺点。重点将是通过经验评估和理论建模的结合，建立对深度学习的基本性理解。这些项目旨在作为ML会议后续出版物的起点。


课程目录

  • 绪论及课程概述

  • (Deep)ML基础知识:

    • 连续优化方法综述

    • 泛化理论概述

    • 深度学习中的优化

    • 深度学习中的泛化

    • 了解SGD

  • (Deep)生成模型:

    • 生成模型概述

    •  关于GAN动力学的博弈论观点

    • GAN真的是分布式学习者吗?

    • 分布测试

  • 鲁棒性ML:

    • 对抗样本与误分类攻击1

    • 对抗样本与误分类攻击2

    • 逆向鲁棒泛化

    • 数据中毒、模型窃取、差异隐私

    • 健壮的统计数据

  • (Deep)强化学习:

    • 强化学习导论

    • 蒙特卡罗树搜索和AlphaGo

    • Policy梯度与Actor-Critic方法

    • 强化学习的探索

    • 深度强化学习研究的挑战

  • ML的社会影响:

    • ML中的公平性

    • ML可解释性

    • ML中的因果关系

    • 人工智能安全和AI Alignment


参考链接：

https://people.csail.mit.edu/madry/6.883/


 请关注专知公众号（点击上方蓝色专知关注）

  • 后台回复“深度学习理论课程” 就可以获取最新课程讲课PPT的下载链接~ 


附第一节课PPT


专 · 知

专知《深度学习:算法到实战》课程全部完成！500+位同学在学习，现在报名，限时优惠！网易云课堂人工智能畅销榜首位！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加），加入专知人工智能主题群，咨询《深度学习:算法到实战》课程，咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程

展开全文
Top
微信扫码咨询专知VIP会员
Top