【机器学习】带你3分钟看完《机器学习实战》总结篇

2018 年 3 月 9 日 产业智能官 浮生偷闲

决策树易于理解和解释，可以可视化分析，容易提取出规则；计算复杂度不高，对中间值的缺失不敏感，可以处理不相关特征数据；测试数据集时，运行速度比较快；决策树可以很好的扩展到大型数据库中，同时它的大小独立于数据库大小。一种二值决策分类“机”，泛化错误率低和较好的推广性使其被认为是监督学习中最好的定式算法。Boosting 中最流行的的一个算法是 AdaBoost，以弱学习器作为基分类器，并且输入数据，使其通过权重向量进行加权。Apriori 算法从单元素项集开始，通过组合满足最小支持度要求的项集来形成更大的集合。下一章的 FPgrowth 算法只需对数据库进行两次遍历，能够显著加快频繁项集的发现速度。应用领域：目前深度神经网络已经应用与计算机视觉，自然语言处理，语音识别等领域并取得很好的效果。

前些天完成了《机器学习实战》这本书的学习，也利用 Python3 实现了各个章节的代码，对传统的机器学习方法有了更进一步的了解，这里做一个总结。

代码传送门：
https://github.com/xyxxmb/Machine-Learning-In-Action

缺点：

对于样本容量大的数据集计算量比较大，即计算复杂度高；

必须保存全部数据集，即空间复杂度高；

KNN 每一次分类都会重新进行一次全局运算；

样本不平衡时，预测偏差比较大。如：某一类的样本比较少，而其它类样本比较多；

K 值大小的选择；

KNN 无法给出基础结构信息，无法知晓平均实例样本与典型实例样本具有什么特征，即无法给出数据的内在含义。

适用数据类型：数值型和标称型。

应用领域：文本分类；模式识别；聚类分析；多分类领域。

使用方法：

Ch3：决策树

决策树分类器就像带有终止块的流程图，终止块表示分类结果。开始处理数据时，首先需要测量集合中数据的不一致性，也就是熵（反映数据的无序程度），然后寻找最优方案划分数据集（选取信息增益（熵）最大的特征），直到数据集中的所有数据属于同一分类。构建决策树时，采用递归的方法将数据集转化为决策树。

优点：

决策树易于理解和解释，可以可视化分析，容易提取出规则；

计算复杂度不高，对中间值的缺失不敏感，可以处理不相关特征数据；

测试数据集时，运行速度比较快；

决策树可以很好的扩展到大型数据库中，同时它的大小独立于数据库大小。

缺点：

容易出现过拟合问题。

对缺失数据处理比较困难。

忽略数据集中属性的相互关联。

ID3 算法计算信息增益时结果偏向数值比较多的特征。

适用数据类型：标称型和数值型。

改进措施（主要解决过拟合问题）：

对决策树进行剪枝，可以采用交叉验证法和正则化的方法；

使用基于决策树的 combination 算法，如 Bagging，Random Forest 等。

决策树流行算法： ID3、C4.5、CART

应用领域：企业管理实践，企业投资决策，由于决策树很好的分析能力，在决策过程应用较多。

使用方法：

总结：Ch2 和 Ch3 都是确定的分类算法，数据实例最终会被明确的划分到某个分类当中。

Ch4：基于概率论的分类方法：朴素贝叶斯

使用概率，提供一种利用已知值来估计未知概率的方法。通过特征间的独立性假设（朴素一词的由来），降低对数据量的要求。

优点：

对大数量训练和查询时具有较高的速度。即使使用超大规模的训练集，针对每个项目通常也只会有相对较少的特征数，并且对项目的训练和分类也仅仅是特征概率的数学运算而已；

支持增量式运算，即可以实时的对新增的样本进行训练；

朴素贝叶斯对结果解释容易理解；

对数据较少的情况下仍然有效；

可以处理多类别问题。

缺点：

因为要将文本转化为词向量（文档中的每个词在词库中只表示出现与不出现，即 [0,1,1,0,0,1]，如果要表示一个词出现了多次，需要用到词袋模型，即 [0,1,3,2,0,0,2]），因此对于输入数据的准备方式较为敏感；

由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好。

适用数据类型：标称型。

改进措施：

下溢出问题：对概率取对数；

词袋模型在解决文档分类问题上比词集模型好；

移除提用词（对分类基本上没有帮助的词，如助词、语气词等）。

应用领域：欺诈检测；一封电子邮件是否是垃圾邮件；一篇文章应该分到科技、政治，还是体育类；一段文字表达的是积极的情绪还是消极的情绪；人脸识别等。

使用方法：

Ch5：Logistic 回归

寻找一个非线性函数 Sigmoid 的最佳拟合参数，求解过程可以由最优化算法（如梯度上升或随机梯度上升（占用更少资源，在线学习））来完成。

优点：计算代价不高，易于理解和实现。

缺点：

容易产生欠拟合；

分类精度可能不高。

适用数据类型：数值型和标称型。

改进措施：

用随机梯度上升训练算法代替梯度上升训练算法，实现在线学习。

应用领域：

用于二分类领域，可以得出概率值，适用于根据分类概率排名的领域，如搜索排名等；

Logistic 回归的扩展 softmax 可以应用于多分类领域，如手写字识别等；

信用评估；

测量市场营销的成功度；

预测某个产品的收益；

特定的某天是否会发生地震。

使用方法：

Ch6：支持向量机

一种二值决策分类“机”，泛化错误率低和较好的推广性使其被认为是监督学习中最好的定式算法。它试图求解一个二次优化问题来最大化分类间隔。支持向量机采用 SMO 算法每次只优化两个 alpha 值来加快 SVM 的训练速度。核方法（或核技巧）会将数据（有时是非线性数据）从一个低维空间映射到一个高维空间，将一个在低维空间中的非线性问题转化为在高维空间的线性问题，如径向基函数（度量两个向量距离的核函数）。

优点：

解决小样本下机器学习问题；

解决非线性问题；

无局部极小值问题（相对于神经网络等算法）；

可以很好的处理高维数据集，计算开销不大，结果易解释；

泛化能力比较强。

缺点：

对于核函数的高维映射解释力不强，尤其是径向基函数；

对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题；

对缺失数据敏感。

适用数据类型：数值型和标称型。

应用领域：文本分类、图像识别、主要二分类领域。

使用方法：

Ch7：利用 AdaBoost 元算法提高分类性能

通过组合多个分类器（可以不同）的分类结果，获得了比简单的分类器更好的效果。选择不同的分类器可以缓解同一分类器可能放大的过拟合问题。

有三种集成方法：Bagging、Boosting 和 Random Forset。Bagging
通过随机抽样 S 次（有放回的抽样），得到 S 个与原数据集大小相同的数据集，作用到 S 个分类器上，最后根据投票决定分到哪一个类；Boosting 在 Bagging 上更进一步，它在数据集上顺序应用了多个不同的分类器。

Boosting 中最流行的的一个算法是 AdaBoost，以弱学习器作为基分类器，并且输入数据，使其通过权重向量进行加权。在第一次迭代中，所有数据等权重，在后续迭代中，前次迭代中分错的数据的权值增大，这种针对错误的调节能力正是 AdaBoost 的长处。

优点：

很好的利用了弱分类器进行级联；

可以将不同的分类算法作为弱分类器；

AdaBoost 具有很高的精度；

相对于 Bagging 算法和 Random Forest 算法，AdaBoost 充分考虑的每个分类器的权重；

泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整。

缺点：

AdaBoost 迭代次数也就是弱分类器数目不太好设定，可以使用交叉验证来进行确定；

数据不平衡导致分类精度下降；

训练比较耗时，每次重新选择当前分类器最好切分点；

对离散点敏感。

适用数据类型：数值型和标称型。

应用领域：模式识别、计算机视觉领域，用于二分类和多分类场景。

使用方法：

补充（非均衡分类问题）：

非均衡分类问题是指在分类器训练时正例数目和反例数目相差很大的一类问题，该问题在错分正例和反例的代价不同时也存在（比如错分导致死亡）。因此，ROC曲线、正确率和召回率有利于度量分类器的指标。

调节正例和反例的数目可以采用欠抽样（删除多的样本）和过抽样（赋值少的样本）的方法，另外一种方法就是在分类的过程中将错误的代价也考虑在内。

Ch8：预测数值型数据：回归

回归与分类的不同点在于，回归预测连续型变量，分类预测离散型变量。在回归方程中，求得最佳回归系数的方法是最小化误差的平方和。使用岭回归可以保证 X^T*X 的逆不能计算时，仍然能求得回归参数。

岭回归是缩减法的一种，相当于对回归系数的大小施加了限制。另一种很好的方法是 lasso 算法，难以求解，但可以使用简便的逐步线性回归来求得近似结果。

缩减法还可以看做对一个模型增加偏差（模型预测值与数据之间的差异）的同时减少方差（模型之间的差异）。

优点：结果易于理解，计算不复杂。

缺点：对非线性的数据拟合不好。

适用数据类型：数值型和标称型。

使用方法：

Ch9：树回归

输入数据和目标变量之间呈现非线性关系，一种可行的方法是使用树对预测值分段，包括分段常数和分段直线。若叶节点使用的模型是分段常数则称为回归树，若叶节点使用的模型是分段直线则称为模型树。

CART 算法可以用于构造二元树并处理离散型或数值型数据的切分，该算法构造的回归树或模型树倾向于产生过拟合问题，可以采用预剪枝（在树的构建过程中就进行剪枝）和后剪枝（当树构建完毕再进行剪枝）。预剪枝更有效，但用户需要定义一些参数。

优点：可以对复杂的和非线性的数据建模。

缺点：结果不易理解。

适用数据类型：数值型和标称型。

使用方法（R2为相关系数）：

Ch10：利用 K-均值聚类算法对未标注数据分组

聚类是一种无监督的学习方法（没有目标变量）。聚类将数据点归到多个簇中，其中相似数据点属于同一簇，而不相似数据点属于不同簇中。

K-均值算法是广泛使用的聚类算法，其中 K 是用户指定的创建簇的数目。算法以 K 个随机质心开始，计算每个点到质心的距离。每个点会被分配到最近的簇质心，然后更新簇质心。以上过程重复数次直至簇质心不再改变。

K-均值算法易受到初始质心的影响，为了获得更好的聚类效果，可以采用二分 K-均值聚类算法。二分 K-均值聚类算法首先将所有点作为一个簇，然后使用 K-均值算法（k=2）对其划分。下一次迭代时，选择有最大误差的簇进行划分。该过程重复直到 K 个簇创建成功为止。

优点：容易实现。

缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢。

适用数据类型：数值型。

使用方法：

Ch11：基于 Apriori 算法进行关联分析

两种方式找到大数据集之间的关系。第一种使用频繁项集，它会给出经常出现在一起的元素项；第二种是关联规则，每条关联规则意味着元素项之间的“如果...那么”关系。

Apriori 算法保证在有限的时间内找到频繁项集。其原理是说如果一个元素项是不频繁的，那么那些包含该元素的超集也是不频繁的。Apriori 算法从单元素项集开始，通过组合满足最小支持度要求的项集来形成更大的集合。支持度用来衡量一个集合在原始数据中出现的频率。

每次增加频繁项集的大小，Apriori 算法都会重新扫描整个数据集。当数据集很大时，会显著降低频繁项集发现的速度。下一章的 FPgrowth 算法只需对数据库进行两次遍历，能够显著加快频繁项集的发现速度。

优点：易编码实现。

缺点：在大数据集上可能较慢。

适用数据类型：数值型或标称型。

应用领域：商店中商品的关联；网站的访问页面的关联；查看选举人及法官的投票历史等。

使用方法：

Ch12：使用 FP-growth 算法来高效发现频繁项集

FP-growth 算法是一种用于发现数据集中频繁模式的有效方法，利用
Apriori 原理，只对数据集扫描两次，运行更快。在算法中，数据集存储在 FP 树中，构建完树后，通过查找元素项的条件基及构建条件 FP 树来发现频繁项集。重复进行直到FP树只包含一个元素为止。

优点：一般要快于 Apriori 算法。

缺点：实现比较困难，在某些数据集上性能会下降。

适用数据类型：标称型。

应用领域：在多种文本文档中查找频繁单词；购物交易；医学诊断；大气研究等。

使用方法：

Ch13：利用 PCA 来简化数据

降维往往作为预处理步骤，其中独立成分分析、因子分析和主成分分析比较流行，主成分分析（PCA）最为广泛。

PCA 可以从数据中识别其主要特征，它是通过沿着数据最大方差方向旋转坐标轴来实现的。选择方差最大的方向作为第一条坐标轴，后续坐标轴则与前面坐标轴正交。协方差矩阵上的特征值分析可以用一系列的正交坐标轴来获取。

优点：降低数据的复杂性，识别最重要的多个特征。

缺点：不一定需要，且可能损失有用信息。

适用数据类型：数值型。

Ch14：利用 SVD 简化数据

SVD 是一种强大的降维工具，可以利用 SVD 来逼近矩阵并从中获得主要的特征。通过保留矩阵的 80%~90% 的能量，就可以得到重用的特征并去除噪声。

优点：简化数据，去除噪声，提高算法的结果。

缺点：数据的转换可能难以理解。

适用数据类型：数值型。

应用领域：推荐引擎（协同过滤、相似度计算）、图像压缩等。

Ch15：大数据与 MapReduce

MapReduce 是一种并行处理框架。在 MapReduce 中，作业被分为 map 阶段和 reduce 阶段。先使用 map 阶段并行处理数据，之后将这些数据在 reduce 阶段合并，是一种多对一的模式。mapper 和 reducer 之间传输数据的形式是 key/value 对。一般地，map 阶段后还需要根据 key 值进行排序。

Hadoop 是一个流行的可运行 MapReduce 作业的 java 项目，它同时也提供非 java 作业的运行支持，叫做 Hadoop 流。

神经网络

优点：

分类准确度高，学习能力极强。

对噪声数据鲁棒性和容错性较强。

有联想能力，能逼近任意非线性关系。

缺点：

神经网络参数较多，权值和阈值。

黑盒过程，不能观察中间结果。

学习过程比较长，有可能陷入局部极小值。

应用领域：目前深度神经网络已经应用与计算机视觉，自然语言处理，语音识别等领域并取得很好的效果。

至此，总结完成。后续有了更深地理解也会进行补充完善。

机器学习给制造业带来巨大变革

科技进步不断推动人类生产力的提升，从传统的手工制造到自动化、网络化和智能化的生产。今天新一代信息技术带来了许多变化，人工智能逐渐应用到工业制造等多个领域中去，并驱动了巨大的经济价值。

传统制造业依赖于廉价的劳动力，通过大批量生产的方式获取更高的回报。然而，今天的市场变得越来越多样化，消费者的需求在不断变化，要求工厂有快速生产出不同型号产品的能力。

自动化和机器换人解决了劳动力不足的问题，但想要满足今天小批量、多样化的生产要求还是达不到。实现更高效率的生产需要通过工业物联网、大数据分析和人工智能等多项技术整合。

设备维护不再是个猜谜游戏

在过去的生产系统中，设备维护人员通常等机器出现故障后才知道维修，而无法提前预知设备的停机时间。对于机器的日常维护，大多数工厂采用定期保养的方式来来降低设备的故障率，但这种做法准确性较低，即使是有着丰富经验的工程师，也是通过猜测的方式来判断设备可能存在的问题。

随着工业物联网的推广应用，对机器的维护也有了新的定义，预测性维护给现代工厂带来极大的便利。给设备装上许多的传感器，通过实时监控机器的运行状态，提前预判机器可能出现的故障问题。而机器学习算法在这里起着重要的作用，它可以帮助管理者及早发现机器的问题。

企业可以从过去的经历中吸取教训，或者从同类事件中总结出经验来，这正是机器学习所表现出来的巨大能力，机器学习可以通过对历史大数据的认识学习，识别出数据中重复出现的模式并应用于生产判断，这样可以更准确地预测趋势和实时检测生产问题。采用机器学习改进生产系统，有利于企业提升业绩效率。

智能监控可以有效防止宕机

传感器技术经过多年的发展，其体积变得越来越小而且更便宜，这对于许多公司来说，意味着可以更低的成本去实时监控整个工厂的机器设备。但是，如果想要从数据获得正确的有价值的见解，还需要对数据进一步筛选和分析。

用人力为去分析这些庞大的数据，将是一件费力的工作。机器学习在这里显得十分重要，智能程序可以24小时不停监控机器的内部动作，对设备的每一个部件，甚至可以小到一个按钮，建立一个长期的病情历史报表，并对现在的数据进行分析结合历史案情进行对比。

当设备的数据值偏离正常状态，系统会提前警告可能的故障或失效。这样企业可以在设备故障发生之前进行及时修复，防止停机而造成巨大的生产损失。此外，设备数据的分析可以让管理者更了解生产系统的现状，知道如何更合理的利用设备资源，从而减少工人成本和提升产品质量。

传统质检模式将成为过去

生产质量是企业品牌和市场竞争力的关键，机器学习可以帮助企业获得更多的优势。传统的生产方式都是等产品生产完成后再去做质检，这意味着不合格的产品将需要返工或者报废，工厂浪费的不仅是时间还有风险损失。不过，这种方式可能很快将成为过去。

机器学习解决方案将给制造检测系统带来颠覆，也就是说在理想的情况下，传统的测试将在未来被完全取代。因为机器学习算法可以帮助系统在生产过程中进行检测和控制生产质量。即在每一个生产环节，都能保证能成功生产出合格的部件。

随着检测技术和测量精度的不断提升，使得我们可以在生产过程中检查铸件气孔等复杂部件，软件已经可以从生产过程中预测产品的质量。更有趣的是，自学习算法不仅报告预定义错误，还能发现一些未知的问题。

用模式识别优化能源管理

在大多数工厂里，每天都会有大量的能源在损耗，从电力、煤炭到水资源，一套科学的能源管理方案可以帮助工厂节省大量的开资。通过人工智能可以帮助企业分析能源使用的实际情况，找出能源不合理的地方进行优化，从而进一步降低生产成本。

从能源供应商的角度来看，化石燃料和可再生能源的混合正在改变电网格局，这迫使电力生产商和电网运营商采取新的策略。机器学习技术使电力公司能够使用历史消费模式实时预测未来，这使得企业可以更精确地调整成本价格与需求，最终导致更高效的操作。

自主化车辆提高物流效率

一件产品的制造通常需要很多道工序，从仓库取材料到加工、装配、调试，中间过程有大量的物流工作需要完成。越来越多的企业考虑采用自动化运输来减少的人力投入和创造更多经济效益。

如果实现更高效的物流运输？机器学习自主车辆正在为自动化物流铺平道路。人工智能经成为自动化物流和公司内部物流系统的关键技术。只要通过深入学习，车辆就能够正确认识和理解周围的环境，顺利完成生产中的物流任务。

在未来，无人驾驶运输系统将承担许多任务，它可以结合大数据预测需求和进行计划性工作，这将使补货过程可以自动化完成。机器学习在制造业有很多应用场景，通过智能化的算法可以提升设备的功能和性能，进一步发挥工厂生产系统的效率。在不久的将来，将带来一场前所未有的巨变。

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

产业智能官 AI-CPS

用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。