【机器学习】机器学习能为你的业务做什么；机器学习之集成学习

2017 年 8 月 25 日 产业智能官

机器学习能为你的业务做什么？有些事情你肯定猜不到！

人工智能爱好者俱乐部

功能介绍一个致力于传播、分享人工智能干货文章的公众号！

机器学习是一项令人难以置信的技术，你需要了解很多很多的基础知识，以使得业务功能尽可能的不受复杂算法的影响，让你能够提出正确的问题、了解机器学习模型开发过程、成立一个团队以促进学科间的不断合作，而不是把数据科学视为一个产生奇迹的黑匣子。

每一个产品经理、企业家或商业领袖都应该让自己的项目或企业在机器学习方面加速发展。如果你还没有建立起下一个代的聊天室或自动驾驶汽车，那么你需要加快引入机器学习的进度，以保持较强的竞争力。有一个好消息，对于机器学习，你无需自己发明，只需利用现成的就可以了。一些技术公司已经提供了开源的工具和平台(Amazon AI，TensorFlow，和许多其他工具)，使得任何公司在今天都可以使用机器学习。

当我初次踏入机器学习门槛的时候，我对此几乎一无所知，但是在很短的时间里，我就能以机器学习为技术核心指挥产品的开发了(就像这个)。本文的目标是让你充分了解开发机器学习产品的技术和流程，让你快速入门。这是一个循序渐进的教程，它能让你成为一名能够利用机器学习实现业务目标的产品经理。

本教程包含六个部分：

1. 机器学习能为你的业务做什么
2. 关于机器学习算法你需要了解什么关心什么
3. 开发机器学习模型全过程
4. 机器学习产品团队的角色、技能和组织结构
5. 机器学习就是一个用户体验问题
6. 产品经理应该注意的工程问题

下面我们将开始第一部分：机器学习可以为你的业务做什么。

投身到机器学习的大潮中去，就像十年前投身到移动技术中一样，它能让你实现业务转型

通过查询已有的数据来获得见解是一个众所周知且广泛适用的方法。机器学习是数据分析方面的下一个前沿领域。计算机程序首先从众多数据中分析识别出一定的模式，然后根据该模式进行预测或得出见解，同时，通过以往的经验可以对这些见解进行改进。在这整个过程中，无需有人去明确地告诉计算机该如何做。由于机构组织可以获得更多的数据，所以他们能够通过机器学习技术从大规模的数据中获取见解，粒度级别从单个用户的交互到全球趋势以及它们对地球的影响。使用这些见解还可用于定制个人用户之间细微差别的使用体验，也可用于创造新的产品寻找新的商机。请注意，要利用机器学习，不仅要使用内部数据，还要将外部数据与内部数据相结合，以增强机器学习的功能，从而推动以前无法实现的新见解的实现。

来自于A16Z这个顶级风投公司的Frank Chen对人工智能的潜在应用做了一个很好的介绍，而其中有许多应用需要利用机器学习技术来实现。这些应用程序中有一些是未来的，用现有的技术暂时无法实现，但仍具有无限的可能。

就像消费者行业在8-10年前投身到移动设备那样，现在是公司探索机器学习技术来帮助推动商业成果发展的时候了。针对那些专注于利用现有机器学习技术的公司，下面罗列了几个机器学习的关键用途。这里讲得比较简单，相互之间也并不是互斥的，而是从不同角度对业务潜在影响的思考：

定制化的用户环境、使用体验和系统响应。想象一下，人们所做的或看到的一切都可以进行特别的定制，甚至可以预见用户的需求和行为。这包括针对产品或服务的推荐，按照相关度进行排列;根据用户的知识、行为、喜欢他们的人或外部数据来定制用户体验或流程，包括预测他们下一步要做什么。在较小的范围内，这可以转化为针对某个用户群体而不是单个人的体验进行定制化。

视觉识别物体的能力，并据此实现自动化或定制使用体验。当今的技术可以识别照片和视频中的对象，包括识别摄像头中的实时视频。Pinterest(一款图片app，堪称图片版的Twitter)使用这项技术来推荐与用户当前正在看的照片相似或者互补的照片;Facebook使用脸部识别技术在照片中标记并推荐朋友;亚马逊正在建立基于对象视觉识别的自动存储检测系统。

内容的自动检索、生成或处理。 利用机器学习可以很方便地处理世界上大批量的内容。其常见用途是文件检索，例如，查找与法律案件相关的所有文件(请注意，这不仅仅是根据关键字到上下文中搜索)、按主题和关键字对文档进行分类、自动对内容提取摘要，从大量内容中提取相关信息，例如，在供应商合同中查找某个具体的条款等等。这里的“内容”适用于所有类型的媒体，而不仅仅是文本。

一定规模的预测、估计和趋势。 在以前，进行预测需要有高水平的专业知识，不仅昂贵，而且难以实现。而机器学习对预测来说非常有用，它可以实现一些人类无法实现的功能。例如，机器可以识别数据潜在的变化趋势。

检测异常活动或系统故障。每个系统都会发生错误出现问题，而机器学习不仅能帮你检测是否出现了问题，还能告诉你这些问题是否是不寻常的，并且及时告警。这在各种监控安全软件中特别有用。

从战略的角度来看，机器学习可以促使出现这几种商业成果：

为你的客户增强体验和功能。最常见的案例是大规模的定制化，即更快更准确的找出与你的客户最相关的产品，例如约会网站上的最佳匹配、音乐网站上可能喜欢的歌曲、购物网站上可能感兴趣的商品。另一个案例则是通过预测来获取以前得不到的情报，例如Zillow对房地产的估价，又或者是针对个人客户的定制化服务，例如根据用户特定的口味对用户还没有看的电影进行评分。

内部功能、流程和业务逻辑。机器学习可以节省你的时间，使你的资源投入在业务流程和决策方面更有效。例如：借贷公司希望优先考虑潜在借贷人。它需要确定谁想要一笔贷款，如果提供的话，对方是否能够到期偿还。优先考虑信誉最高的客户不一定是借贷公司想要的答案，因为这些客户通常有很多选择，所以需要一个更复杂的模型。

扩展到新的领域和新的产品。数据可以帮助你开辟全新的商机，为现有客户创建全新的产品，或为你之前从未服务过的细分市场或客户提供服务。例如，Netflix可以为不是核心目标受众的电影工作室提供服务，向他们出售有关哪些观众喜欢哪些主题或者情节的数据;Zillow可以帮助房地产开发商了解哪些建筑功能可以得到最高的投资回报，等等。

首先针对哪个领域，应取决于潜在的商业影响、问题的复杂性以及实现这一影响的成本。

“我们需要用数据来做某事”是一个策略，而不是数据科学，或是一个问题

许多公司正在招聘能够构建机器学习模型的数据科学家，因为“我们应该用数据来做某事”。我听说过许多知名公司的高管都说“我们看到竞争对手购买了数据，所以我们也需要这样做才能保持竞争力”，然后他们聘请了几位数据科学家，希望能看到一些惊喜。这让我对机器学习产生了很大的误解。

机器学习并不是你生意上的魔法棒。在利用机器学习的过程中，遇到第一个挑战是弄清楚由技术驱动的业务影响。机器学习是一种解决方案，你需要首先定义问题：您希望用机器学习实现的业务结果是什么?机器学习能为你的客户带来什么好处? 机器学习是一把锤子，但是如果你没有钉子，锤子并没有什么用处。引申一下，机器学习是一套各不相同的锤子，你所选择的钉子将决定你该选择哪个锤子以及如何使用它。你要解决的问题决定了所有一切：结果该如何使用、你的模型能预测出什么结果以及如何校准、应该收集和处理什么样的数据，该使用怎么样的测试算法以及许多其他问题。

其核心“我们要解决什么问题?”是一个商业问题，这意味着最终确定这个问题答案的是产品经理和业务主管而不是数据科学家的。数据科学家和其他利益相关者应该也参与进来，只是不要把问题抛给他们，期望他们来回答这个问题。如果你有数据，但你不知道该怎么用这些数据，请与客户进行交流。数据科学家可以帮你探索数据，但他们很难提出自己的商业案例。为了最大限度地发挥机器学习的商业价值，你需要让产品经理和数据科学家之间互相协作，产品经理有责任确保解决的问题能对业务产生最大的影响。

解密机器学习如何推动你的业务向前发展的

虽然机器学习有着无限的可能，但对于技术是如何应用于团队这个问题，你可能会有几个疑问想弄清楚。这里有几个例子：

内部流程

公司人员今天用于决策的知识哪些可以自动化?这样他们的技能就可以在其他地方得到更好地利用。

公司人员一般在信息库中搜索、收集或提取哪些数据，这些操作如何自动化?

公司做出的一系列决定是什么?如果机器获取到公司人员所能获取到的所有数据，是否也能做出这些决定?

针对现有客户的产品和体验

客户交互的哪些部分是由人来定制的，是否可以交给机器来定制?

是否根据喜好、行为和需求对客户进行了细分?产品或体验是否为每个细分客户群进行了定制?

是否可以根据自己对客户的了解或客户与网站/应用/产品的交互来为每个客户定制体验?如何为客户创造一个更好、更快、更愉快的体验?

具体来说，今天需要客户做出怎样的决定或选择?基于我已经拥有或可能拥有一些知识，这些决策能否可以自动化?

如何更好地识别出好的或坏的客户体验?对客户体验或满足感产生负面影响的问题是否可以提前发现?

新的领域或客户

我手里是否有一些对本行业或者相关行业中其他利益相关者有用的数据?这些数据可以帮助他们做出什么样的决定?

综上所述

哪些指标或者趋势如果我正确预测了就能对我服务的客户或者行业中的竞争对手产生深远的影响?比如，预测某些类别产品的需求、成本波动等等?

收集的数据的关键实体是什么(人、公司、产品等等)?可以将这些数据与任何外部数据(来源于公共来源、合作伙伴等)结合起来，得出有关这些实体一些新的或有用的东西吗?对谁有用，以及如何使用?比如，在人们在查找你的产品的时候识别出潜在客户、了解外部因素如何影响行业需求并作出相应的反应。

机器学习之集成学习

1024深度学习

功能介绍正如TED的精神：Ideas worth spreading，同样技术也不应该局限在少数人手中，技术值得更加广泛的传播，AI应该更加民主化，所以我们做了这个公众号，希望在自己学习的过程中，也能帮助到更多的人接触到AI技术。

1. 关于集成学习的概念

　　集成学习是机器学习中一个非常重要且热门的分支，是用多个弱分类器构成一个强分类器，其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类器可以由决策树，神经网络，贝叶斯分类器，K-近邻等构成。已经有学者理论上证明了集成学习的思想是可以提高分类器的性能的，比如说统计上的原因，计算上的原因以及表示上的原因。另外，小编Tom邀请你一起搞事情！

1.1 为什么要集成

1）模型选择
　　假设各弱分类器间具有一定差异性（如不同的算法，或相同算法不同参数配置），这会导致生成的分类决策边界不同，也就是说它们在决策时会犯不同的错误。将它们结合后能得到更合理的边界，减少整体错误，实现更好的分类效果。

2）数据集过大或过小
　　数据集较大时，可以分为不同的子集，分别进行训练，然后再合成分类器。
　　数据集过小时，可使用自举技术（bootstrapping），从原样本集有放回的抽取m个子集，训练m个分类器，进行集成。

3）分治
　　若决策边界过于复杂，则线性模型不能很好地描述真实情况。因此先训练多个线性分类器，再将它们集成。

4）数据融合（Data Fusion）
　　当有多个不同数据源，且每个数据源的特征集抽取方法都不同时（异构的特征集），需要分别训练分类器然后再集成

1.2 集成学习常用算法

1）boosting的弱分类器形成是同一种机器学习算法，只是其数据抽取时的权值在不断更新，每次都是提高前一次分错了的数据集的权值，最后得到T个弱分类器，且分类器的权值也跟其中间结果的数据有关。

2）Bagging算法也是用的同一种弱分类器，其数据的来源是用bootstrap算法得到的（有放回抽样，一个instance被前面分错的越厉害，它的概率就被设的越高）。

3）Stacking算法分为两个阶段，首先我们使用多个基础分类器来预测分类；然后，一个新的学习模块与它们的预测结果结合起来，来降低泛化误差。

1.3 集成学习有效的前提

1）每个弱分类器的错误率不能高于0.5
2）弱分类器之间的性能要有较大的差别，否则集成效果不是很好

1.4 集成学习分类

　　集成学习按照基本分类器之间的关系可以分为异态集成学习和同态集成学习。异态集成学习是指弱分类器之间本身不同，而同态集成学习是指弱分类器之间本身相同只是参数不同。

不同算法的集成
同一种算法在不同设置下的集成
数据集的不同部分分配给不同分类器之后的集成

1.5 基本分类器之间的整合方式

简单投票，贝叶斯投票，基于D-S证据理论的整合，基于不同的特征子集的整合

2. Adaboost算法

2.1 AdaBoost元算法

　　基于数据集多重抽样的分类器

　　Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）

　　Adaboost算法本身是通过改变数据权值分布来实现的，它根据每次训练集中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据送给下层分类器进行训练，最后将每次得到的分类器最后融合起来，作为最后的决策分类器.

　　关于弱分类器的组合，Adaboost算法采用加权多数表决的方法。具体来说，就是加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率较大的弱分类器的权值，使其在表决中起较小的作用

2.2 Adaboost算法思路

输入：
　　　　分类数据；弱算法数组
输出：
　　　　分类结果

流程：

Step1 给训练数据集中的每一个样本赋予权重，权重初始化相等值，这些权重形成向量D。一般初始化所有训练样例的权重为1 / N,其中N是样例数
Step2 在训练集上训练出弱分类器并计算该分类器的错误率
Step3 同一数据集上再次训练分类器，调整样本的权重，将第一次分对的样本权重降低，第一次分错的样本权重提高
Step4 最后给每一个分类器分配一个权重值alpha，alpha = 0.5*ln((1-错误率）/错误率）
Step5 计算出alpha值后，可以对权重向量D进行更新，以使得正确分类的样本权重降低而错分样本的权重升高。

　　计算出D之后，AdaBoost又开始进入下一轮迭代。Adaboost算法会不断地重复训练和调整权重的过程，知道训练错误率为0或者弱分类器的数目达到用户指定的值为止

2.3 Adaboost算法核心思想

“关注”被错分的样本，“器重”性能好的弱分类器；

不同的训练集，调整样本权重
“关注”，增加错分样本权重
“器重”，好的分类器权重大

样本权重间接影响分类器权重

2.4 Adaboost 算法优缺点

优点：

Adaboost是一种有很高精度的分类器；
可以使用各种方法构建子分类器，Adaboost算法提供的是框架；
当使用简单分类器时，计算出的结果是可以理解的，而弱分类器构造及其简单；
简单，不用做特征筛选；
不用担心overfitting（过拟合）问题。

2.5 Adaboost算法应用场景

用于二分类或多分类的应用场景；
用于做分类任务的baseline–无脑化，简单，不会overfitting，不用调分类器；
用于特征选择（feature selection) ；
Boosting框架用于对bad case的修正，只需要增加新的分类器，不需要变动原有分类器。

2.6 Adaboost 算法Python实现

3. Boosting算法中代表性算法GBDT

3.1 GBDT

　　GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。

3.2 GBDT主要由三个概念组成：

Regression Decision Tree（及DT 回归决策树）
Gradient Boosting（即GB）
Shrinkage（算法的一个重要演进分枝）

3.2.1 DT：回归树Regression Decision Tree

　　
　　回归树总体流程也是类似，不过在每个节点（不一定是叶子节点）都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化均方差–即（每个人的年龄-预测年龄）^2 的总和 / N，或者说是每个人的预测误差平方和除以 N。

3.2.2 GB：梯度迭代 Gradient Boosting

　　
　　Boosting，迭代，即通过迭代多棵树来共同决策。
　　
　　GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。比如A的真实年龄是18岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把A分到6岁的叶子节点，那累加两棵树的结论就是A的真实年龄；如果第二棵树的结论是5岁，则A仍然存在1岁的残差，第三棵树里A的年龄就变成1岁，继续学。这就是Gradient Boosting在GBDT中的意义。

-END-

新一代技术+商业操作系统：

AI-CPS OS

在新一代技术+商业操作系统（AI-CPS OS：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生，在行业、企业和自身三个层面勇立鳌头。

数字化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置。

分辨率革命：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品控制、事件控制和结果控制。
复合不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊化：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。随着变革范围不断扩大，一切都几乎变得不确定，即使是最精明的领导者也可能失去方向。面对新一代技术+商业操作系统（AI-CPS OS：云计算+大数据+物联网+区块链+人工智能）颠覆性的数字化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位。

如果不能在上述三个层面保持领先，领导力将会不断弱化并难以维继：