《深度学习，统计学习，数学基础》人工智能算法工程师手册-程序员写的AI书，50 章一网打尽

2019 年 11 月 29 日 专知

【导读】市面上很多人工智能相关的书籍。大部分的书，面向小白，内容深度不够；小部分教材书或者科研书，内容艰深，又过于复杂。那么有没有，面向算法工程师（程序员）人群的，面向有一定数学基础、算法基础，能够快速上手写代码的人群的人工智能手册呢？有的！而且免费开源，非常有程序员范！《AI算法工程师手册》你值得拥有！

作者Github：https://github.com/huaxz1986

手册地址：http://www.huaxiaozhuan.com/

作者简介：

华校专，清华航天学院工程力学本科，国防科大计算机专业硕士。清华四年每年成绩都是本系头名，曾任阿里巴巴资深算法工程师，现任智易科技首席算法研究员，《Python 大战机器学习》的作者

手册目录：

数学基础

1.线性代数基础

一、基本知识
二、向量操作
三、矩阵运算
四、特殊函数

2.概率论基础

一、概率与分布
二、期望和方差
三、大数定律及中心极限定理
五、常见概率分布
六、先验分布与后验分布
七、信息论
八、其它

3.数值计算基础

一、数值稳定性
二、梯度下降法
三、二阶导数与海森矩阵
四、牛顿法
五、拟牛顿法
六、约束优化

4.蒙特卡洛方法与 MCMC 采样

一、蒙特卡洛方法
二、马尔可夫链
三、MCMC 采样

统计学习

0.机器学习简介

一、基本概念
二、监督学习
三、机器学习三要素

机器学习的对象是：具有一定的统计规律的数据。机器学习根据任务类型，可以划分为：

监督学习任务：从已标记的训练数据来训练模型。主要分为：分类任务、回归任务、序列标注任务。
无监督学习任务：从未标记的训练数据来训练模型。主要分为：聚类任务、降维任务。
半监督学习任务：用大量的未标记训练数据和少量的已标记数据来训练模型。
强化学习任务：从系统与环境的大量交互知识中训练模型。

机器学习根据算法类型，可以划分为：

传统统计学习：基于数学模型的机器学习方法。包括SVM、逻辑回归、决策树等。
这一类算法基于严格的数学推理，具有可解释性强、运行速度快、可应用于小规模数据集的特点。
深度学习：基于神经网络的机器学习方法。包括前馈神经网络、卷积神经网络、递归神经网络等。
这一类算法基于神经网络，可解释性较差，强烈依赖于数据集规模。但是这类算法在语音、视觉、自然语言等领域非常成功。

没有免费的午餐定理(No Free Lunch Theorem:NFL)：对于一个学习算法A，如果在某些问题上它比算法B好，那么必然存在另一些问题，在那些问题中B比A更好。

因此不存在这样的算法：它在所有的问题上都取得最佳的性能。因此要谈论算法的优劣必须基于具体的学习问题。

1.线性代数基础

一、线性回归
二、广义线性模型
三、对数几率回归
四、线性判别分析
五、感知机

2.支持向量机

一、线性可分支持向量机
二、线性支持向量机
三、非线性支持向量机
四、支持向量回归
五、SVDD
六、序列最小最优化方法
七、其它讨论

3.朴素贝叶斯

一、贝叶斯定理
二、朴素贝叶斯法
三、半朴素贝叶斯分类器
四、其它讨论

4.决策树

一、原理
二、特征选择
三、生成算法
四、剪枝算法
五、CART 树
六、连续值、缺失值处理
七、多变量决策树

5.knn

一、k 近邻算法
二、 kd树

6.集成学习

一、集成学习误差
二、 Boosting
三、Bagging
四、集成策略
五、多样性分析

7.梯度提升树

一、提升树
二、xgboost
三、LightGBM

8.特征工程

一、缺失值处理
二、特征编码
三、数据标准化、正则化
四、特征选择
五、稀疏表示和字典学习
六、多类分类问题
七、类别不平衡问题

9.模型评估

一、泛化能力
二、过拟合、欠拟合
三、偏差方差分解
四、参数估计准则
五、泛化能力评估
六、训练集、验证集、测试集
七、性能度量
七、超参数调节
八、传统机器学习的挑战

10.降维

一、维度灾难
二、主成分分析 PCA
三、核化线性降维 KPCA
四、流形学习
五、度量学习
六、概率PCA
七、独立成分分析
八、t-SNE
九、LargeVis

11.聚类

一、性能度量
二、原型聚类
三、密度聚类
四、层次聚类
五、谱聚类

12.半监督学习

半监督学习
一、生成式半监督学习方法
二、半监督 SVM
三、图半监督学习
四、基于分歧的方法
五、半监督聚类
六、总结

13.EM算法

一、示例
二、EM算法原理
三、EM算法与高斯混合模型
四、EM 算法与 kmeans 模型
五、EM 算法的推广

14.最大熵算法

一、最大熵模型MEM
二、分类任务最大熵模型
三、最大熵的学习

15.隐马尔可夫模型

一、隐马尔可夫模型HMM
二、 HMM 基本问题
三、最大熵马尔科夫模型MEMM

16.概率图与条件随机场

一、概率图模型
二、贝叶斯网络
三、马尔可夫随机场
四、条件随机场 CRF

17.边际概率推断

一、精确推断
二、近似推断

18.主题模型

一、Unigram Model
二、pLSA Model
三、LDA Model
四、LDA优化
五、sentence-LDA
六、模型讨论

深度学习

0.深度学习简介

一、介绍
二、历史

深度学习：计算机从经验中学习，以层次化的概念（concept）来理解世界。

从经验中学习：避免了人工指定计算机学习所需的所有知识。

层次化的概念：计算机通过从简单的概念来构建、学习更复杂的概念。

如果绘制一张图来展示这些概念的关系，那么这张图是一个深度的层次结构，因此称这种方法为深度学习。

1.深度前馈神经网络
深度前馈网络（deep feedfoward network）也称作前馈神经网络（feedforward neural network）或者多层感知机（multilayer perceptron:MLP），它是最典型的深度学习模型。卷积神经网络就是一种特殊的深度前馈网络。深度前馈网络也是循环神经网络的基础。