不可错过！北交《深度学习》专业课，附Slides与视频

2022 年 9 月 12 日 专知

§ 课程概述与简介:

本课程主要面向硕士生，共32学时，暑期线上授课，讲述深度学习基本概念、经典深度学习模型及其实践，主要内容包括前馈神经网络、深度模型优化与正则化、卷积神经网络、循环神经网络、无监督深度模型以及深度学习的局限性与前沿等，并介绍深度学习框架的编码实现和参数优化方法。本课程注重理论学习与实践应用的结合，除了课堂讲授之外，还将通过实践环节引导学生使用深度学习平台或工具，让学生通过实际应用来加深对理论的理解。本年度课程视频合集可在B站查看（点击查看视频合集）。

§ 课程目的与任务:

本课程的目的是使计算机科学与技术以及其他理工科专业硕士生了解和掌握深度学习领域的基础理论和方法，了解深度学习理论与技术的发展脉络和关键知识体系的构成，了解深度学习理论与实践相互依存与促进的重要性。从科学的角度，了解深度学习所涉及的理论体系、数学基础、模型算法等。从工程的角度，了解深度学习在不同的领域所起到的重要推动作用。
本课程的任务是学习深度学习的概念、理论和经典模型，并能够进行实践操作。课程采用讲授与上机实验相结合的形式，要求研究生通过本课程的学习，掌握和了解深度学习的概念、理论与经典算法，并可以使用深度学习模型完成一系列相关任务。

§ 理论课教学内容:

第1讲：绪论。本讲主要进行课程简介、人工智能概述、机器学习概述、神经网络概述、深度学习概述等内容介绍。 [PDF] [视频回放]
第2讲：基础知识。本讲主要介绍机器学习与深度学习的基本概念、相关数学（线性代数、微积分、概率与统计）基础、常见线性模型等。 [PDF] [视频回放]
第3讲：深度学习框架简介及PyTorch入门。本讲主要介绍开源深度学习框架概述、开源框架核心组件、主流开源框架介绍、TensorFlow与PyTorch的比较、PyTorch入门等。 [PDF] [视频回放]
第4讲：深度前馈网络。本讲主要介绍人工神经网络概念、神经网络结构、前馈神经网络结构、反向传播算法、自动梯度计算、神经网络参数优化的主要问题等。 [PDF] [视频回放]
第5讲：深度模型优化与正则化。本讲主要介绍网络优化概念、小排量梯度下降、学习率与梯度优化、参数初始化与数据预处理、逐层归一化、超参数优化、过拟合与正则化等。 [PDF] [视频回放]
第6讲：卷积神经网络I。本讲主要介绍卷积运算基础、卷积的动机、池化操作、卷积神经网络结构等。 [PDF] [视频回放]
第7讲：卷积神经网络II。本讲主要介绍卷积神经网络参数学习、其他卷积方式（转置、空洞）、典型卷积神经网络简介（LeNet、AlexNet、Inception、残差网络）等。 [PDF] [视频回放]
第8讲：循环神经网络I。本讲主要介绍网络记忆能力、循环神经网络结构、随时间反向传播（BPTT）算法、双向循环神经网络等。 [PDF] [视频回放]
第9讲：循环神经网络II。本讲主要介绍长程依赖问题、长短期记忆网络（LSTM）、门控循环神经网络（GRU）、深层循环神经网络等。 [PDF] [视频回放]
第10讲：无监督深度模型。本讲主要介绍Hopfield神经网络、玻尔兹曼机、受限玻尔兹曼机、深度玻尔兹曼机、深度信念网络、自编码器、自编码器变种及预训练等。 [PDF] [视频回放]
第11讲：深度学习前沿与局限。本讲主要介绍注意力机制简介、深度生成模型简介、深度强化学习简介、图神经网络简介、深度学习局限、深度学习趋势等。 [PDF] [视频回放]
第12讲：深度学习应用。本讲由华为高级工程师王聪做题为《AI框架的发展趋势以及MindSpore的实践》的讲座。 [视频回放]