震惊！知识网络重大更新！1.2版本发布

版本：1.2.0

最后更新：2017.7.26

更新说明：本次更新重新规划各公交路线及其命名方式。之前的版本中，是以小夕的文章中阐述的模型关联为基础展开的知识网络，虽然可以帮助大家把知识串接起来加深理解，但是无疑从另一方面导致了模型之间的界限模糊，缺乏科学的分类边界。因此，本次更新将从生成式与判别式、有向图与无向图等角度来展开路线，让大家从不同的角度来串联和理解知识，同时让知识更加系统。

打开方式：有下划线的地方即有链接

快捷方式：订阅号主页下方「知识网络」

神经网络快速专线：

▶ 符合机器学习一般化框架

▶ 偏置项b的作用

▶ 深度神经网络的BP过程

▶ BP算法的由来与本质

▶ 激活函数=生物转换器？

▶ 参数初始化trick之Xavier方法

▶ Batch size如何设置？

窗：

前馈神经网络（NN）  ▶▶  卷积神经网络（CNN）

线：

循环神经网络（RNN）  ▶▶  长短时记忆网络（LSTM）  ▶▶  门限循环单元（GRU）    ▶▶    Stack-RNN    ▶▶    Bi-LSTM-CRF

树：

递归神经网络（Recursive NN）  ▶▶  递归张量网络（RNTN）    ▶▶    树结构长短时记忆网络（Tree-LSTM）

游乐园快速专线：

▶ 如何优雅的追到女神夕小瑶  ▶  DFS、BFS与A*搜索算法

▶ 如果你跟夕小瑶恋爱了(上)  ▶  隐马尔可夫模型(HMM)的建模

▶ 如果你跟夕小瑶恋爱了(下)  ▶  HMM的训练与使用

▶ 全体学生考上目标学校的故事  ▶  Adaboost

▶ 从前，夕小瑶种了一棵树  ▶  ID3决策树

矩阵线路：

矩阵与矩阵运算    ▶▶    特征值、特征向量与特征分解    ▶▶    2范数  +  1范数    ▶▶    奇异值分解    ▶▶    低秩分解    ▶▶    矩阵的迹    ▶▶    泛函空间

一阶无约束优化线路:

随机梯度下降(SGD)    ▶▶    附加动量项    ▶▶    AdaGrad    ▶▶    Adam    ▶▶    AdaDelta    ▶▶    RMSProp

二阶无约束优化线路:

牛顿法    ▶▶    共轭梯度法    ▶▶    L-BFGS

智能优化线路：

遗传算法    ▶▶    模拟退火

约束优化线路:

约束优化    ▶▶    对偶法

入门线路：

朴素贝叶斯    ◀▶    逻辑回归    ▶▶    softmax    ▶▶    神经网络     ▶▶    深度前馈网络

线路描述：

作为生成式模型的代表的朴素贝叶斯与作为判别式模型的逻辑回归之间就差了一个p(x)。而逻辑回归的核心——sigmoid函数的诞生却绝非巧合！将sigmoid背后深藏的秘密挖出后，我们推广出了它的爸爸——softmax函数，从此揭开了多类回归的新篇章。

然而，仅靠一层softmax怎么能满足我们日益膨胀的需求呢？于是，设置一个“隐含”的中间类别好啦，这个模型竟然跟生物的神经网络很像！那就叫神经网络好咯。

什么？你觉得加了一层隐藏层的神经网络还是不够用？那就再加隐藏层啊！看我的深度神经网络！

生成式线路：

朴素贝叶斯(NB)    ▶▶    隐马尔可夫模型(HMM)    ▶▶    贝叶斯网络/信念网络(BN)  +  马尔可夫随机场(MRF)

判别式线路：

逻辑回归(LR)  +  最大熵模型(ME)  +  神经网络(NN)    ▶▶    线性链条件随机场(Linear-chain CRF)    ▶▶    一般化条件随机场(General CRF)

战争：

第一战：朴素贝叶斯 vs 逻辑回归

第二战：隐马尔可夫模型 vs 线性链条件随机场

第三战：贝叶斯网络 vs 条件随机场

和平：

生成对抗网络(GAN)

线路描述：

如果将机器学习模型由小到大排序的话，那么最小的当然就是“点”，即分类模型；再大一点的就是“线”，即序列标注模型；比线更大呢？当然就是“图”啦，也就是概率图模型。

而点也好，线也好，网也好，由于出发点不同而都被分成了两大板块：生成式模型与判别式模型。前者主张由已经假定好的模型来生成样本，后者主张由样本来学习出判决边界。于是，一次次战争打响了...

无向图线路：

逻辑回归(LR)    ▶▶    线性链条件随机场(Linear-chain CRF)    ▶▶    受限玻尔兹曼机(RBM)    ▶▶    玻尔兹曼机(BM)    ▶▶    一般化条件随机场(General CRF)  +  马尔科夫随机场(MRF)

有向图线路：

朴素贝叶斯(NB)    ▶▶    隐马尔可夫模型(HMM)    ▶▶    层次隐马尔可夫模型(HHMM)    ▶▶    贝叶斯网络/信念网络(BN) 

线路描述：

无向图和有向图是概率图模型的两大板块。顾名思义，在无向图中，两个图节点之间的关系是双向的，而有向图的两个图节点之间是单向的推理关系。

显然，图结构与二维的AI任务如图像识别、基于强相关复杂特征集的数据挖掘等不谋而合，因此图状的概率图模型如马尔可夫随机场、贝叶斯网络等在计算机视觉、数据挖掘等领域广泛应用。

当图退化为线性链状的结构时，便与一维的AI任务如语音识别、文本序列标注等息息相关，因此线性的概率图模型如隐马模型、条件随机场等在语音信号处理、自然语音处理等领域得以广泛应用。

当图继续退化，退化为点状结构时，便成了应用最为广泛的分类器，如朴素贝叶斯、逻辑回归等常见的分类器都是点状的概率图模型的特例。

工厂快速专线：

编程语言的选择

编辑器、解释器、IDE、开发环境等概念扫盲

python开发套件推荐

使用pytorch基于CNN计算句子相似度

规划中的线路站点：

支持向量机（SVM）、PCA、自编码器、核方法等

...................