CMU-Ruslan 教授《深度学习基础：监督学习与生成模型》教程，127页ppt

Ruslan是CMU UPMC教授，他是深度学习的大牛，他的《深度学习基础：监督学习 & 深度生成模型》Deep Learning Essentials-Supervised Learning；Deep Learning Essentials-Deep Generative Models，127页ppt，非常值得学习。

授课老师 Ruslan Salakhutdinov个人主页

Ruslan Salakhutdinov是来自卡内基梅隆大学（CMU的UPMC教授，2016年被任命为苹果首任AI总监。从整个神经网络和深度学习的历史看，最重要的拐点是2006年7月，Geoffrey Hinton为第一作者的两篇论文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》的发布，前者首次提出了layerwise greedy pretraining的方法，开创了深度学习方向；后者提出通过最小化函数集对训练集数据的重构误差，自适应地编解码训练数据的算法deep autoencoder，作为非线性降维方法在图像和文本降维实验中明显优于传统方法，证明了深度学习方法的正确性。正是这两篇论文引起了整个学术界对深度学习的兴趣，才有了近十年来深度学习研究的突飞猛进和突破。而Ruslan Salakhutdinov，就是深度学习历史上最重要的标志性论文之一、发布在Nature杂志上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。此时的他不过是刚刚进入Geoffrey Hinton门下不久的一名博士生（Ruslan Salakhutdinov于2009年获得博士学位），但并不影响其在深度学习领域中的辈分。

Ruslan Salakhutdinov对人工智能的贡献还在于学习深度生成模型的研究上。2007年前后，Ruslan Salakhutdinov与Geoffrey Hinton提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机，再使用有监督的反向传播算法进行调优（Ruslan Salakhutdinov的博士论文就是这方面的内容）。 从2006年的标志性论文发表到现在为止的十年中，Ruslan Salakhutdinov的研究成果层出不穷。截止本文发布之日，Ruslan Salakhutdinov的论文总引用数量达到31049次，其中近5年的引用次数为27568，这也说明了在其一直活跃在深度学习的前沿领域。