麻省理工MIT2020深度学习导论课程6.S191，10大前沿主题：序列建模、生成模型、强化学习、GNN、对抗学习等，不得不看

【导论】麻省理工学院最近开设一门深度学习课程MIT 6.S191，共包含十大主题课程，涵盖深度学习导论、序列建模、深度视觉、生成模型、强化学习、图神经网络、对抗学习、贝叶斯模型、神经渲染、机器学习嗅觉等，图文并茂，涵盖最新的前沿内容，非常值得学习！

课程地址： http://introtodeeplearning.com/

课程介绍： 麻省理工学院的深度学习方法的导论课程，应用到计算机视觉，自然语言处理，生物学，和更多! 学生将获得深度学习算法的基础知识和在TensorFlow中构建神经网络的实践经验。先修习微积分(即求导数)和线性代数(即矩阵乘法)，我们将在学习过程中尝试解释其它内容! Python方面的经验是有帮助的，但不是必需的。欢迎听众!

课程目录内容：

• 第一讲： 深度学习导论 Introduction to Deep Learning，101页ppt
• 第二讲： 深度序列建模 Deep Sequence Modeling, 93页PPT
• 第三讲： 深度计算机视觉 Deep Computer Vision, 60页PPT
• 第四讲： 深度生成模型 Deep Generative Models, 79页PPT
• 第五讲： 深度强化模型 Deep Reinforcement Learning, 60页PPT
• 第六讲： 前沿课题 Limitations and New Frontiers, 80页PPT
• 第七讲： 混合人工智能 Neurosymbolic Hybrid AI

过去十年，人工智能和机器学习经历了一次复兴，这在很大程度上要归功于深度学习方法的成功。然而，尽管深度学习已经被证明是非常强大的，但当今大多数最成功的深度学习系统都存在一些重要的局限性，从需要大量的训练数据集到缺乏可解释性，再到易受通过对抗性示例进行的“黑客攻击”的攻击。在我的演讲中，我将概述其中的一些局限性，并提出未来的一条道路包括构建混合系统，将神经网络与符号人工智能的技术和思想结合起来。符号人工智能是一种类似的人工智能传统，其起源可以追溯到人工智能的起源。我将展示一个神经符号混合系统的例子，在这个例子中，神经网络和符号系统相互补充各自的优缺点，从而使系统能够精确、样本高效且可解释。最后，我将展示我们在神经符号混合系统领域所追求的其他方向，并认为这些交叉的方法为人工智能的广泛应用提供了一条强有力的前进道路。

• 第八讲： 机器人可泛化自治 Generalizable Autonomy in Robotics，115PPT 在机器人技术中，数据驱动的方法规避了手工调整的特性工程，尽管缺乏保证，而且常常导致大量的计算开销。我的研究旨在弥补这一差距，并使机器人自主的可泛化模仿成为可能。我们需要构建能够捕获语义任务结构的系统，这些语义任务结构能够提高采样效率，并且能够泛化到新的任务实例，这些实例可以跨越视觉、动态或语义变化。这涉及到设计将学习与感知、控制和规划相结合的算法。在这次演讲中，我将介绍归纳偏见和先验是如何帮助归纳自治的。首先，我将讨论RL中动作表现的选择和次优监督系统中的模仿。然后讨论自监督学习中的潜在变量模型。最后，我将讨论机器人多任务学习和数据收集的元学习。

• 第九讲： 神经渲染 Neural Rendering，94PPT 在这次演讲中，我们将回顾现代渲染技术，并讨论深度学习如何扩展这个长期研究主题的范围。我们将研究深度神经网络作为1)即插即用子模块，以降低基于物理的渲染成本;2)端到端管道，激发新的图形应用。我们将特别关注“可微渲染”，这是一种解决复杂的逆图形问题并在场景重建、生成和描述方面取得巨大成功的方法。

• 第十讲： 机器学习嗅觉 ML Scent，46PPT

预测一个分子的结构和它的气味之间的关系仍然是一个困难的，有几十年历史的任务。这个问题被称为定量结构-气味关系(QSOR)建模，它是化学领域的一个重要挑战，影响着人类营养、合成香味的制造、环境和感觉神经科学。我们使用图神经网络的QSOR，并表明它们在一个由嗅觉专家标记的新数据集上显著优于先前的方法。进一步的分析表明，从图神经网络学习嵌入捕获了一个有意义的气味空间表示结构和气味之间的潜在关系，表现为在两个具有挑战性的转移学习任务中的强大性能。机器学习已经对视觉和听觉产生了巨大的影响。基于这些分子特性图神经网络的早期结果，我们希望机器学习最终能像它在视觉和听觉上所做的那样，用于嗅觉。