机器学习高阶攻略，AI新手莫入!

如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 

这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。 

贪心学院（国内唯一体系化AI学院）目前推出了两门高端的AI训练营，分别是《机器学习高阶训练营》和《自然语言处理高阶训练营》。

训练营全程直播授课模式，近距离接触顶级讲师，下面像大家介绍一下《机器学习高阶训练营》：

《机器学习高阶训练营》

全球前沿AI科研成果教学

👇👇👇

添加课程顾问小姐姐，备注【机器学习】

领取课程优惠名额

课程大纲

第一阶段 机器学习基础与凸优化

本阶段主要目的是讲解必要的算法理论以及凸优化技术，为后续的课程打下基础。凸优化的重要性不言而喻，如果想具备改造模型的能力，对于凸优化的理解是必不可少的！ 

【核心知识点】

- KNN，Weighted KNN、近似KNN

- KD树，近似KD树、哈希算法、LSH

- 岭回归、LASSO、ElasticNet

- 正则：L1, L2, L-inifity Norm

- LR、GD、SGD、小批量SGD

- 凸集，凸函数、判定凸函数

- LP、QP、ILP、SDP问题

- Duality，Strong Duality、KKT条件

- 带条件/无条件优化问题、Projected GD

- 平滑函数、Convergence Analysis

【部分案例讲解】

- 基于QP的股票投资组合策略设计

- 基于LP的短文本相似度计算

- 基于KNN的图像识别

第二阶段 SVM与集成模型

本阶段主要目的是深入理解SVM以及核函数部分的知识点。为了理解清楚SVM的Dual转换，需要掌握第一部分里的Duality理论。另外，重点介绍Bagging和Boosting模型，以及所涉及到的几项有趣的理论。

【核心知识点】

- Max-Margin与线性SVM构建

- Slack Variable以及条件的松弛

- SVM的Dual、Kernelized SVM

- Kernel Functions, Mercer'定理

- Kernelized LR/KNN/K-Means/PCA

- Bagging, Boosting, Stacking

- 信息论与决策树

- 随机森林，完全随机森林

- 基于残差的提升树训练思想

- GBDT与XGBoost

- 集成不同类型的模型

- VC理论， PAC Learning

【部分案例讲解】

- 基于XGBoost的金融风控模型

- 基于PCA和Kernel SVM的人脸识别. 

- 基于Kernal PCA和Linear SVM的人脸识别

第三阶段 无监督学习与序列模型

本阶段主要目的是学习无监督算法和经典的序列模型。重点讲解EM算法以及GMM，K-means的关系，同时花几次课程时间来仔细讲解CRF的细节：从无向图模型、Potential函数、Log-Linear Model、逻辑回归、HMM、MEMM、Label Bias、Linear CRF、Inference，最后到Non-Linear CRF。

【核心知识点】

- K-means、GMM以及EM

- 层次聚类，DCSCAN，Spectral聚类算法

- 隐变量与隐变量模型、Partition函数

- 条件独立、D-Separation、Markov性质

- HMM以及基于Viterbi的Decoding

- Forward/Backward算法

- 基于EM算法的参数估计

- 有向图与无向图模型区别

- Log-Linear Model，逻辑回归，特征函数

- MEMM与Label Bias问题

- Linear CRF以及参数估计

【部分案例讲解】

- 基于HMM和GMM的语音识别

- 基于聚类分析的用户群体分析

- 基于CRF的命名实体识别

第四阶段 深度学习

本阶段主要讲解深度学习理论以及常见的模型。这里包括BP算法、卷积神经网络、RNN/LSTM、BERT、XLNet、ALBERT以及各类深度学习图模型。另外，也会涉及到深度相关的优化以及调参技术。 

【核心知识点】

- 神经网络与激活函数

- BP算法、卷积层、Pooling层、全连接层

- 卷积神经网络、常用的CNN结构

- Dropout与Batch Normalization

- SGD、Adam、Adagrad算法

- RNN与梯度消失、LSTM与GRU

- Seq2Seq模型与注意力机制

- Word2Vec, Elmo, Bert, XLNet

- 深度学习中的调参技术

- 深度学习与图嵌入（Graph Embedding）

- Translating Embedding (TransE)

- Node2Vec- Graph Convolutional Network

- Graph Neural Network

- Dynamic Graph Embedding

【部分案例讲解】

- 基于Seq2Seq和注意力机制的机器翻译

- 基于TransE和GCN的知识图谱推理

- 基于CNN的人脸关键点检测

第五阶段 推荐系统与在线学习

推荐系统一直是机器学习领域的核心，所以在本阶段重点来学习推荐系统领域主流的算法以及在线学习的技术、包括如何使用增强学习来做推荐系统。 在线学习算法很深具有很漂亮的理论基础，在本阶段你都会一一体会到！

【核心知识点】

- 基于内容和协同过滤的推荐算法

- 矩阵分解，带条件的矩阵分解

- 基于内容的Gradient Tree

- 基于深度学习的推荐算法

- 冷启动问题的处理

- Exploration vs Exploitation

- Multi-armed Bandit

- UCB1 algorithm，EXP3 algorithm

- Adversarial Bandit model

- Contexulalized Bandit、LinUCB

【部分案例讲解】

- 使用GB Tree做基于 interaction 与 content的广告推荐

- 使用深度神经网络做基于interaction 与 content的推荐

- LinUCB做新闻推荐, 最大化rewards

第六阶段 贝叶斯模型

本阶段重点讲解贝叶斯模型。贝叶斯派区别于频率派，主要的任务是估计后验概率的方式来做预测。我们重点讲解主题模型以及不同的算法包括吉布采样、变分法、SGLD等，以及如何把贝叶斯的框架结合在深度学习模型里使用，这就会衍生出Bayesian LSTM的模型。贝叶斯部分的学习需要一定的门槛，但我们会让每个人听懂所有细节！ 

【核心知识点】

- 主题模型（LDA) 以及生成过程

- Dirichlet/Multinomial Distribution

- 蒙特卡洛与MCMC

- Metropolis Hasting与Gibbs Sampling

- 使用Collapsed Gibbs Sampler求解LDA

- Mean-field variational Inference

- 使用VI求解LDA

- Stochastic Optimization与贝叶斯估计

- 利用SLGD和SVI求解LDA

- 基于分布式计算的贝叶斯模型求解

- 随机过程与无参模型（non-parametric)

- Chinese Retarant Process

- Stick Breaking Process

- Stochastic Block Model与MMSB

- 基于SGLD与SVI的MMSB求解

- Bayesian Deep Learning模型

- Deep Generative Model

【部分案例讲解】

- 基于Bayesian LSTM的文本分析

- 使用无参主题模型做文本分类

- 基于贝叶斯模型实现小数量的图像识别

第七阶段 增强学习与其他前沿主题

本阶段重点讲解增强学习以及前沿的内容，包括增强学习在文本领域的应用，GAN, VAE，图片和文本的Disentangling，深度学习领域可解释性问题、Adversial Learning, Fair Learning等最前沿的主题。 这一阶段的安排也会根据学员的兴趣点做局部的调整。

【核心知识点】

- Policy Learning、Deep RL

- Variational Autoencoder(VAE)与求解

- 隐变量的Disentangling

- 图像的生成以及Disentangling

- 文本的生成以及Disentangling

- Generative Adversial Network(GAN)

- CycleGan

- 深度学习的可解释性

- Deconvolution与图像特征的解释

- Layer-wise Propagation

- Adversial Machine Learning

- Purturbation Analysis

- Fair Learning

【部分案例讲解】

- 基于GAN的图像生成

- 基于VAE的文本Style Transfer

- 可视化机器翻译系统

《机器学习高阶训练营》

全球前沿AI科研成果教学

👇👇👇

添加课程顾问小姐姐，备注【机器学习】

领取课程优惠名额

02 课程研发导师

03直播授课，现场推导演示

区别于劣质的PPT讲解，导师全程现场推导， 让你在学习中有清晰的思路，深刻的理解算法模型背后推导的每个细节。更重要的是可以清晰地看到各种模型之间的关系！帮助你打通六脉！

▲源自：CRF与Log-Linear模型讲解

▲源自：CRF与Log-Linear模型讲解

▲源自：Convex Optimization 讲解

▲源自：Convergence Analysis 讲解

不管你在学习过程中遇到多少阻碍，你都可以通过以下4种方式解决：

1、直接在线问导师；

2、记录到共享文档中，每日固定时间的直播答疑；

3、学习社群中全职助教，随时提问答疑

4、共同的问题在Review Session里面做讲解

注：每次答疑，班主任都会进行记录，以便学员实时查阅。

04课程适合谁？

05每周课程安排

采用直播的授课方式，每周3-4次直播教学，包含核心理论课、实战课、复习巩固课以及论文讲解课。教学模式上也参考了美国顶级院校的教学体系。以下为其中一周的课程安排，供参考。 

《机器学习高阶训练营》

全球前沿AI科研成果教学

👇👇👇

添加课程顾问小姐姐，备注【机器学习】

领取课程优惠名额

06你的必备挑战

1.编写一些技术类文章

通过在知乎上发表相关技术文章进行自我成果检验，同时也是一种思想碰撞的方式，导师会对发表的每一篇文章写一个详细的评语。万一不小心成为一个大V了呢？虽然写文章的过程万分痛苦，学习群里半夜哀嚎遍野，但看一看抓着头发写出来的文章结果还是非常喜人的！看着自己收获的点赞数，大家都默默地感谢起导师们的无情！

这种满满的成就感，让大家一篇接一篇写了下去！

个个都立刻变身成了知乎大牛~

2.Project项目

除了文章，算法工程师的立命根本--项目代码， 导师更是不会放过的。每次在Gitlab上布置的作业，导师们都会带领助教团队会予以详细的批改和反馈。并逼着你不断的优化！

《机器学习高阶训练营》

全球前沿AI科研成果教学

👇👇👇

添加课程顾问小姐姐，备注【机器学习】

领取课程优惠名额