ML算法岗从业几年还不具备提出新模型的技术能力？看这个就够了！

AI是一门入门简单，但想深入却很难的学科，这也是为什么AI高端人才一直非常紧缺的重要原因。在AI领域技术领域，我们可以说机器学习功底决定了一个人的上限也不为过。为什么？机器学习就像物理学中的数学，如果你对数学没有很好地掌握，想深入物理学科是不太可能的。放到AI领域，不管你做NLP方向也好，还是CV方向也好，只要深入下去，都会发现跟机器学习息息相关。

在工作中，你是否能够利用1-3天的时间来复现任意顶会的文章？是否能够按照实际的场景灵活提出新的模型，或者提出对现有模型的改造？实际上这些是核心竞争力，同时是走向高端人才必须要经历的门槛。虽然很有挑战，但一旦过了这个门槛你就会发现你是市场中的TOP5%.

所以我们设计了这样的一门课程，目的就是一个：让你有机会成为市场中的TOP5%。我们希望通过这样的一门课程来增强对机器学习的深入理解，掌握背后的每个细节，这一点很重要。这门课程主要包含了凸优化、图神经网络、深度贝叶斯以及强化学习，也是机器学习领域比较主流的四大领域。每个领域都有一定的门槛，但真正经历过之后大概率会惊讶地发现自己成长了不少。 

下面对每个部分的内容详细做了介绍，感兴趣的朋友们可以来咨询更多。 

1. 凸优化部分

凸优化在人工智能领域有着举足轻重的地位，对于模型的训练实际上等同于对模型的优化。我们平时使用的sgd, adam, adagrad, l-bfgs这类算法均属于优化范畴。在AI的应用中，当我们构造了目标函数之后，接下来的工作就是优化部分。那为什么凸优化这么重要呢？ 设想一下，如果你想设计一个新的模型，或者在原有的模型基础做一些创新，那对于新构造的目标函数，你需要懂得如何去优化，以及用什么样的优化算法才能解出更好的局部最优解。所以，对于想进阶的AI工程师来说，凸优化是必备课，必须要掌握的内容。

课程大纲

第一周：凸优化基础

学习目标 ：了解凸优化技术以及应用场景，理解凸优化技术的类别、技术范畴、以及能把凸优化技术跟生活和工作中的问题联系在一起。同时，深入理解线性规划技术，以及它在不同场景中的应用，并能够实现。

学习安排 ：

- 从优化角度理解机器学习

- 凸优化的重要性

- 常见的凸优化问题

- 线性规划以及Simplex Method

- Stochastic LP

- P，NP，NPC问题

- 案例分析 ：运输中的优化问题

- 案例分析 ：打车中的优化问题

- 案例分析 ：投放运营中的优化问题

第二周：凸优化基础

学习目标 ：学习如何识别凸函数和如果判定凸函数，这里会涉及到三种不同的方法以及多个案例讲解。同时，本周能学到二次规划相关的知识，以及能够用二次规划去模拟的实际问题以及求解方式。 

学习安排 ：

- 如何判断一个集合是凸集

- 各类凸集以及证明

- 方法1：Prove by Definition

- 方法2：First-order Convexity

- 方法3：Second-order Convexity

- 二次规划问题以及凸函数证明

- 最小二乘问题详解

- 案例分析：WDM距离计算

-  案例分析：股票投资组合优化问题

第三周：常见的凸优化问题

学习目标 ：学习如何识别凸函数和如果判定凸函数，这里会涉及到三种不同的方法以及多个案例讲解。同时，本周能学到二次规划相关的知识，以及能够用二次规划去模拟的实际问题以及求解方式。 

学习安排 ：

- 常见的凸优化问题类别

- 半正定规划问题（SDP）

- 几何规划问题（GP）

- 非凸函数的优化方法

- 非凸函数的松弛华

- 整数规划以及松弛华

-  案例分析：Set Cover问题

-  案例分析：Vertex Cover问题

-  案例分析：0-1 Knapsack问题

-  案例分析：Cutting-stock问题

-  案例分析：Max-cut问题

第四周：优化与量化投资

学习目标 ：作为一个案例章节，主要学习优化在量化投资中的应用，同时也学习常见的量化投资策略。这一章的学习一方面可以带来对新的领域的学习，同时也给其他领域的问题提供思路。  

学习安排 ：

- 量化投资介绍

- 如何阅读K线图

- 基于规则的量化策略

- 基于机器学习模型的量化策略

- 基于LP、QP优化的量化策略

- Efficient Frontier, Sharp Ratio

- 量化平台介绍

第五周：对偶（Duality）

学习目标 ：掌握对偶相关的知识，对偶可以算是优化领域最为经典的一套方法论。学完本部分之后，可以对已有的模型做改进，同时能够灵活做对偶转换。深入理解对偶领域中的Lower Bound Property，KKT条件，Weak Duality等基本理论。一句话，Duality是优化的精华！ 

学习安排 ：

- 拉格朗日对偶函数

- 对偶的几何意义

- Lower Bound Property

- Weak and Strong Duality

- KKT条件

- LP、QP、SDP的对偶转换

- 对偶的一些应用场景

- 经典机器学习模型的对偶转换

- 案例分析：SVM的完整对偶转换

- 案例分析：不同损失函数的分析

第六周：对偶（Duality）

学习目标 ：掌握对偶相关的知识，对偶可以算是优化领域最为经典的一套方法论。学完本部分之后，可以对已有的模型做改进，同时能够灵活做对偶转换。深入理解对偶领域中的Lower Bound Property，KKT条件，Weak Duality等基本理论。一句话，Duality是优化的精华！ 

学习安排 ：

- Gradient Descent

- GD的收敛分析

- Subgradient Method

- Proximal Gradient Descent

- Projected Gradient Descent

- Stochastic Gradient Descent

- Newton's Method

- Quasi-Newton Method

- L-BFGS

- 案例分析：ADMM的分析

- 案例分析：Adadelta, Adam的比较

第七周：优化技术进阶

学习目标 ：掌握其他主流的优化技术，这些都属于比较进阶的内容，需要前面内容的基础。主要掌握Interior Point Method，ADMM等模型。

 

学习安排 ：

- Mirror Ascent

- 分布式梯度下降法

- Interior Point Method

- ADMM方法

- Sparsity与优化关系

- Combinatorial优化

作业项目：优化与量化投资

项目描述 ： 量化投资作为金融领域一大分支，今年来受到了很大的关注。在这个项目中，我们将使用在课程中已学过的优化技术来搭建买卖策 略，并在平台上做回测，最终得到策略的效果。这个项目的主要目的有以下几种：

1. 了解并掌握量化投资领域，虽然跟很多人的工作关系不大，但毕竟是一个新兴领域，而且跟 AI 技术的结合比较紧密，强烈建议借此机会学习。

2. 掌握并实战优化技术，通过编写真正的策略会真正明白优化技术如何应用在工业界环境中。

3. 基于给定的优化方法，自己试着去改进并创造新的优化方法，让回测效果更好。

涉及到的技术 ：量化投资、凸优化

感兴趣的请添加咨询顾问

2. 图神经网络：

图神经网络是指神经网络在图上应用的模型的统称，根据采用的技术不同和分类方法的不同，又可以分为下图中的不同种类，例如从传播的方式来看，图神经网络可以分为 图卷积神经网络（GCN），图注意力网络（GAT，缩写为了跟GAN区分），Graph LSTM等等，本质上还是把文本图像的那一套网络结构技巧借鉴过来做了新的尝试。在本次课上，我们着重学习关于图卷积技术以及其相关知识，例如：图论基础，GCN的卷积由来和详解，GAT等相关边嵌入模型，以及GCN在各个方向的应用。

课程大纲

第一周：GNN相关数学基础（1）

学习目标 ：掌握图神经网络中涉及到的基础理论，包括不同空间的描述，傅里叶变化以及CNN相关的技术。

学习安排 ：

-  空间向量和图论

- Inner Product， Hilbert Space

- 傅里叶变化

- Eigenfunction, Eigenvalue

- CNN的卷积和池化

- 介绍CNN的卷积层

- 如何卷积、信息如何传递

- 池化层的作用和基本设计

- 案例分析 ：各类矩阵分解方法比较

第二周：GNN相关数学基础（2）

学习目标 ：掌握图神经网络中涉及到的基础理论，包括不同空间的描述，傅里叶变化以及CNN相关的技术。 

学习安排 ：

- Subgraph

- Network Motif

- Network Community Detection

- 拉普拉斯算法

- 拉普拉斯矩阵

- SVD， QR分解

- 基于向量机分解

- Block分解

- 拉普拉斯算子和矩阵的数学意义

第三周：图卷积详解

学习目标 ：掌握图卷积相关的基本知识，这是理解图神经网络的根本。在本部分，系统性掌握我们目前常使用的GCN模型是如何得出来的，而不是停留在仅仅使用的层面，这里包括ChebNet等我们需要理解的内容。 

学习安排 ：

- 图卷积的几何意义

- Graph Filter

- Graph Convolution

- ChebNet

- GCN详解

- Graph Pooling

- MCMC介绍

- Importance Sampling

- Rejection Sampling 

- 案例分析：基于GCN的推荐

- 案例分析： CNN的权重剪枝

第四周：边嵌入的图卷积

学习目标 ：掌握Spatial类型图神经网络，本质上跟GCN的构造方式是不一样的，但变得越来越流行。本节重点掌握GAT以及Attention如何用在图神经网络之中。  

学习安排 ：

- Spatial Convolution

- Mixture Model Network

- Attention机制

- Graph Attention Networks(GAT)

- Edge Convolution

- EGCN, Monet

- 近似优化问题

- 减少计算量的介绍

- 案例分析 ：Attention机制剖析

第五周：图神经网络改进与应用

学习目标 ：掌握改进图神经网络，以及它背后的思路。这种能力可以带给你，今后在工作中遇到类似的问题，你也有能力做一些模型上的改进！

学习安排 ：

- NRI

-  Relative Position与图神经网络拓展

- Relative GCN

-  融入Edge特征

- Knowledge GCN

- ST-GCN

- Graphsage的设计

- Graphsage的应用

- 案例分析： 基于图的文本分类案例

- 案例分析 ：基于图的阅读理解

第六周：其他的常见图模型

学习目标 ：除了GCN，GAT等主流图神经网络模型之外，还有一些非常流行的图模型。本节主要帮助学员掌握此类模型，包括Deepwalk, Node2Vec等非常有价值的模型。

学习安排 ：

- GNN的其他变种

- Deep Walk模型

- Node2Vec模型

- Struc2Vec模型

- HyperGCN模型

- HGCN的设计和应用

作业项目：基于GCN的链路预测

项目描述 ：链路预测(Link Prediction)是通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性。近几年在线社交网络发展非常迅速，链路预测可以基于当前的网络结构去预测哪些尚未结交的用户“应该是朋友”，并将此结果作为“朋友推荐”发送给用户：如果预测足够准确，显然有助于提高相关网站在用户心目中的地位，从而提高用户对该网站的忠诚度。另外，链路预测的思想和方法，还可以用于在已知部分节点类型的网络中预测未标签节点的类型——这可以用于判断一篇学术论文的类型或者判断一个手机用户是否产生了切换运营商(例如从移动到联通)的念头。

涉及到的技术 ：GCN，GAT，KGCN，相似度计算，图论

感兴趣的请添加咨询顾问

3. 贝叶斯深度学习

贝叶斯深度学习是一项迅速崛起的技术，融合了深度学习和贝叶斯核心技术，使得模型本身可以更好地捕获数据中的不确定性，同时也能预测出结果的不确定性，同时贝叶斯模型也比较适合小数据量的场景。通过本次课程的学习，学员能够系统性掌握贝叶斯核心技术，包括MCMC，变分法，VAE, 贝叶斯优化，主题模型，对抗学习，以及如何应用在不同的场景中，既有助于应用层面上的提升，也有助于科研。

课程大纲

第一周：贝叶斯机器学习介绍

学习目标 ：掌握贝叶斯基本理论、掌握最大似然与贝叶斯估计之间的区别，以及跟集成模型之间的关系。了解贝叶斯学习中的两种近似算法，MCMC与VI以及区别。同时，掌握如何解决具体的贝叶斯学习问题。 

学习安排 ：

-  贝叶斯定理

- MLE、MAP以及贝叶斯估计

- 集成模型与贝叶斯方法比较

- 贝叶斯推理中的困难

- 贝叶斯近似算法介绍

- 案例分析 ：基于贝叶斯的股价预测

- 案例分析 ：贝叶斯线性回归

-  案例分析 ：Probabilistic Programming

- 案例分析 ：Edwin的使用以及实战

第二周：贝叶斯朴素贝叶斯与主题模型

学习目标 ：系统性掌握主题模型的细节，包括它的背景、生成过程以及推理。通过此学习，同时也可以掌握跟贝叶斯朴素贝叶斯之间的联系，以及在生成逻辑中的差异。  

学习安排 ：

-  朴素贝叶斯模型回顾

- 贝叶斯朴素贝叶斯的生成过程

- 概率图的表示

- 主题模型的应用

- 主题模型的生成过程

- 主题模型的应用场景

-  案例分析 ：LDA的代码剖析

-  案例分析 ：基于LDA的文本分析

-  案例分析 ：Bayesian-LSTM的文本分析

第三周：MCMC采样技术

学习目标 ：掌握各类采样技术，特别是吉布斯采样，也是MCMC中最为重要的一项技术。另外，完完整整地掌握LDA的所有详细的推导细节。 

学习安排 ：

-  MCMC采样技术介绍

- 狄利克雷分布

- 吉布斯采样

- 贝叶斯朴素贝叶斯求解

- LDA与吉布斯采样

- 各类采样技术介绍

-  Importance Sampling 

-  Rejection Sampling 

-   案例分析 ：不同采样技术实现与比较

第四周：变分法技术

学习目标 ：掌握近似算法中另外一个最核心的技术-变分法。掌握如何设计变分参数、如何优化变分的目标函数以及最后的模型的预测。这里涉及到KL散度、ELBo、和优化等内容。 

学习安排 ：

- KL散度

- ELBo的构造

- 变分法的目标函数

- 坐标下降法

- 求解LDA的参数

- 变分参数的设计

- SVI的介绍

- 基于SVI求解LDA

- 案例分析：在推荐领域中的应用

-  案例分析：如何设置合适的prior

第五周：贝叶斯深度学习

学习目标 ：掌握如何通过贝叶斯深度学习模型去量化模型和数据中的不确定性，主要学习MC Dropout等技术。同时掌握深度生成模型技术以及它们的应用。 

学习安排 ：

- 贝叶斯深度学习的应用

- 贝叶斯与VAE

- Reparameterization Trick

- 深度生成模型

- 贝叶斯模型与不确定性分析

- MC Dropout

-  案例分析：基于VAE的文本生成

第六周：贝叶斯深度学习与自然语言处理

学习目标 ：掌握贝叶斯深度学习在自然语言处理任务中的应用，包括命名实体识别、文本分析等任务。 同时，掌握Adversial Attack相关的技术，以及它跟贝叶斯方法论之间的关系。 

学习安排 ：

- 贝叶斯序列模型

- 词性标注与实体识别

- Adversial Learning

- Adversial Attack

- 基于GNN的Adversial Learning

- 案例分析：基于贝叶斯网络的命名实体识别

-  案例分析：基于贝叶斯深度学习的文本分析

作业项目：基于修改版LDA的情感分析

项目描述 ：本项目的目的是如何基于LDA来自动抽取文本中的情感，这个项目涉及到对于LDA模型的改造以及对于新模型的推导，具有一定的挑战。在本项目中，我们会一步步引导学员去设计模型，并对模型做出吉布斯采样的全部推导过程以及实现环节。通过此项目，学员会亲身体会整个贝叶斯模型的设计和训练过程。

涉及到的技术 ：主题模型，吉布斯采样，Collapsed吉布斯采样，无监督情感分析

感兴趣的请添加咨询顾问

4. 深度强化学习

强化学习是机器学习的一个分支，相较于机器学习经典的有监督学习、无监督学习问题，强化学习最大的特点是在交互中学习（Learning from Interaction）。Agent在与环境的交互中根据获得的奖励或惩罚不断的学习知识，更加适应环境。RL学习的范式非常类似于我们人类学习知识的过程，也正因此，RL被视为实现通用AI重要途径。<br>通过融合深度学习，深度强化学习迅速在围棋，游戏等场景取得了超越人类的表现。通过本次课程，学员能够系统的掌握深度学习框架及核心技术，包括 Markov Desision Process, Monte Carlo Control, SARSA, Q learning, Value Approximation, Deep reinforcement Learning ,及强化学习在游戏，自然语言中， 推荐的应用过程，即有助于应用层面上的提升，也给科研提供新的思路与方向。

课程大纲

第一周：强化学习基础（1）

学习目标 ：掌握强化学习最基本的知识，包括MDP， Bellman Equation以及动态规划，这些对后续的学习是必须的。 

学习安排 ：

- Markov Decision Process(MDP)

- Bellman Equation

- Dynamic Programming

- Model-free Prediction

- Monte Carlo Leanring

- TD Learning 

第二周：强化学习基础（2）

学习目标 ：掌握强化学习最基本的知识，包括Model free policy，Monte Carlo Control, Q-Learning等。 

学习安排 ：

-  Model-free control

- On-policy Monte Carlo Control

- On-policy TD learning

- SARSA, SARSA Lambda

- Off-policy

- Importance Sampling

- Q-learning

- 案例分析 ：Atari的实现以及讲解

第三周：强化学习基础

学习目标 ：掌握强化学习核心方法论，能把相应的技术应用在自己的问题当中。主要的技术涉及深度强化学习。 

学习安排 ：

- Policy Gradient

- Deep reinforcement learning

- Actor critic

- Advanced reinforcement learing

-  案例分析 ：RL在文本生成中的应用

第四周：探索、实施、推荐系统

学习目标 ：掌握强化学习在online learning的应用，包括各类multi-armed bandit算法，以及在推荐中的应用。 

学习安排 ：

- Multi-armed Bandits

- Explore and Exploit

- Thompson Sampling

- Epsilon Greedy

- Upper Confidence Bound

- Epsilon Greedy

- UCB

- 案例分析 ：强化学习与推荐系统

第五周：多智能体的强化学习与稀疏Reward的设计

学习目标 ：掌握强化学习中的多智能体学习和各种Reward设计方法，能够灵活在自身的问题中应用起来。 

学习安排 ：

- Multi agent Reinforcement Learning

- Sparse Reward Design

- Inverse RL

- AlphaGo详解

第六周：强化学习在NLP、量化和游戏中的应用

学习目标 ：掌握强化学习在主流场景中的应用，包括自然语言处理、量化投资以及游戏。 

学习安排 ：

- 案例分析：强化学习的应用场景

- 案例分析 ：强化学习在NLP中的应用

- 案例分析 ：强化学习在量化投资中的应用

- 案例分析 ：强化学习在游戏中的应用

- SeqGan讲解

作业项目：利用强化学习搭建游戏智能体

项目描述 ：本项目 (coursework) 旨在实践并设计强化学习算法来探索，解决解决强化学习问题。其中包括模拟HFO （ Half Field Offence）及 Flappy Bird。通过此项目，期望同学们能充分理解，并可掌握，应用 （但不限于） ：状态State, 动作Action, MDP（ 马尔可夫决策过程）。State value function ，State Action value function 如何进行估计，迭代及预测。深度神经网络强化学习对Value Approximation进行评估, 并进行Policy优化。Exploration 和 Exploitation 的平衡优化也将会在本项目的最后进行探索。。

涉及到的技术 ：MDP建模，Q Learning，Monte Carlo control，Value Iteration, Deep Q Learning

感兴趣的请添加咨询顾问

关于我们-一切从信任开始

我们专注人工智能人才培养4年，在AI领域， 国内属于最头部的人才培养黄埔院校 。在AI人才培养上，已跟京东、腾讯等大厂一直建立者良好的战略合作关系，学员也来自斯坦福、伯克利、清华、北大等世界级名校。

职场成功案例

姓名：李**

学校专业：燕山大学 控制工程专业 2019级硕士毕业生

原工作单位：软通动力 算法工程师 年薪20万

跳槽方向：算法工程师

匹配方案：技术研修+背景提升+求职面试一篮子服务

最终跳槽公司：荣耀 年薪45万

履约服务时长：7个月

姓名：Jerry Zhao

学校专业：澳大利亚国立大学 计算机专业 2018级本科毕业生

原工作单位：鲁班软件 初级算法工程师 年薪18万

跳槽方向：ML算法工程师

匹配方案：技术研修+案例项目学习+求职面试一篮子服务

最终跳槽公司：网易 年薪40万

履约服务时长：4个月

姓名：钱**

学校专业：中国农业大学 计算机科学与技术 2018级本科毕业生

原工作单位：聚美国际 算法工程师 年薪22万

跳槽方向：算法工程师 

匹配方案：技术研修+导师咨询+求职面试一篮子服务

最终跳槽公司：亚马逊电商 年薪47万

履约服务时长：11个月

姓名：蔡*

学校专业：中科院自动化所 智能控制与计算智能 2020级博士毕业生

原工作单位：中国科学院自动化研究所-智能系统与工程研究中心-实习 年薪5万

跳槽方向：ML算法工程师

匹配方案：背景提升+大厂技术大牛求职方向规划+求职面试一篮子服务

最终跳槽公司：比亚迪 年薪38万

履约服务时长：2个月

历届学员去向

大厂前辈导师

李文哲

贪心科技CEO

美国南加州大学博士

曾任独角兽金科集团首席数据科学家、美国亚马逊和高盛的高级工程师

金融行业开创知识图谱做大数据反欺诈的第一人

先后在AAAI、KDD、AISTATS、CHI等国际会议上发表过15篇以上论文

杨老师

推荐系统，计算机视觉领域专家

香港城市大学博士，加州大学美熹德分校博士后

主要从事机器学习，图卷积，图嵌入的研究

先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等国际顶会及期刊上发表过数篇论文

王老师

毕业于QS排名TOP20名校

先后任职于亚马逊，华为，平安科技等AI研发部门

主要从事机器阅读理解，信息检索，文本生成等方向的研究

先后在AAAI, ICLR等发表数篇论文，拥有多项国家发明专利

感兴趣的请添加咨询顾问