【人工智能】从大数据+AI 谈谈概念与场景；如何将深度学习与你正在做的事情相结合？；数据驱动决策的13种思维

会员服务 ·

【人工智能】从大数据+AI 谈谈概念与场景；如何将深度学习与你正在做的事情相结合？；数据驱动决策的13种思维

2017 年 8 月 23 日 产业智能官

从大数据+AI 谈谈概念与场景

caoz的梦呓

功能介绍caoz的心得与分享，只此一家，别无分号。

2005年，在百度做数据分析，商业数据，搜索数据，社交产品数据，联盟数据，客户端数据，各种数据反正都拿来搞每天处理几亿条日志吧，自己写代码，搞几台服务器瞎跑，看着数据过瘾，但也没觉得自己做了什么了不起的事情。

后来火了个名词，叫做大数据，坦白说，我还真不觉得我做的事情是大数据的范畴，但我看到很多到处吹所谓大数据概念的项目，有不少比我做的还要low的多。

还是2005-2006的时候，数据处理完了，总要搞点有意思的事情，搞了搞关键词推荐，关键词聚类，也没觉得有什么了不起。推荐算法么，这玩意早就很成熟了不是，加上点简单的自学习能力，也算不上什么新鲜玩意。

后来火了个名词，叫做AI，坦白说，推荐算法和AI其实也扯不上啥关系，但后来好多投资人在外面说，今日头条基于强大的推荐技术，是AI的领军企业。（黑人问号脸。。。）

我觉得错过了一个自己职业发展的黄金机会，我明明可以说自己是大数据+AI的先行者啊，这工资怎么也要加个0吧。说来好玩，我当时的头衔只是产品经理，只是因为技术团队的人都觉得这些事情太low没意思，没人愿意跟我配合鼓捣这点玩意，我才迫不得已，求工程师给我科普一点最基本的原理和逻辑，然后自己瞎鼓捣写代码，说实话完全是票友级别的水准。想不到不出十年，这概念居然这么值钱了。

但今天这文章当然不能只是自吹自擂，中国互联网总有一群混子，他们彰显自己水平的能力，就是各种摆弄解读概念，关键是，还是半懂不懂的去解读。骗骗少不更事的小姑娘，股市里的大妈，揣着钱不知道怎么投资的传统行业土豪老板。

十多年前，donews那群人天天鼓吹 web2.0。言必称web2.0，那，当然，web2.0是个筐，啥玩意都可以往里装，他们今天也可以说，你看，我们说对了吧，现在互联网2.0了吧，3.0了吧，什么什么交互了吧，什么这个那个了吧。但关键在于，你会发现，努力鼓吹这个概念的公司和混子们，就没见谁做起来了，真符合他们说的web2.0，并且做的牛逼的，比如腾讯，从来没刻意去迎合过这些概念，而且，那时候腾讯可不受这些混子们待见呢。

这说明什么，不是说概念对还是不对，而是重点根本不在这里，场景，关键是应用场景，把应用场景的诉求理解透，把场景里的关键问题解决好，机会和市场就是有的。抛开场景空谈概念，有一个算一个，都是耍流氓。

最近有投资人问我，AI到底是不是虚热，有没有机会。

我说机会当然有，而且很多，但我们不谈AI，我们看场景。

自动驾驶，这个场景够明确，所有人都看到了，谁技术牛逼，谁就能赢。

医疗领域的辅助决策，这场景也很清晰，目前有一定进展。基于大量样本数据的积累和相关的数据规范化处理，但要想彻底取代人类决策，目前来说还需要一点时间。

基因相关的探索也在进行中，基于样本数据去探究不同基因与先天性疾病和生理缺陷的相关度，但这个目前样本量太小，可信度还远远达不到可以大规模商用的境界，这需要基因检测的成本大幅度下降，检测的普及和相关医疗数据的全面打通，也是一项长期的事情。

从新闻阅读的推荐，到搜索引擎的自我优化（典型如容错搜索，推荐关键词），到广告系统的精准优化（智能匹配策略等），这些也都是一些深度学习理论可以用的到的场景，简单有简单的做法，复杂有复杂的做法，这也是很多巨头孜孜追求的领域。

游戏的辅助决策，包括游戏内Boss和npc的策略，这也是一部分比较清晰的领域。

人脸及图像识别，语音识别，自动翻译，应用场景和想象空间都很大，从安防到旅游到商务活动，很多场景都有极大的市场空间。

精益生产，目前流行的柔性生产线，也需要大量的AI技术，能够在尽可能少的资源调配和开销的情况下，适应多种不同需求，不同规格的产品的快速生产能力。

能源管理，能耗优化，这个google已经示范过了，通过深度学习可以极大优化机房的能源开销。

金融领域的量化交易，典型的市场博弈行为，以前是基于人工预置策略，固定规则，但现在开始引入深度学习技术，实现与市场的动态博弈。

当然，还有在线教育领域，以前的教育大家都是通用性的题目和作业，以后能不能针对学生的考试，作业完成情况和质量，有针对性的个性化作业，个性化的课外辅导，基础差一点的学生不用学那么深入的东西，把基础反复巩固即可；基础好的学生也不用翻来覆去的做简单的东西，多一点挑战性的课题和知识；因材施教其实也是可以用深度学习来解决的，也很期待这方面能有成功的产品出来。

是的，综上，大数据和AI也是个筐，其实啥都可以往里装，你说AI是不是投资热点，有没有前途，我不能说不对，但话说回来，一个成功的商业行为，必须是从具体场景的诉求出发，然后基于这个诉求，选择最合适的技术方案，解决最根本的问题，而不是说，我有个好概念，有个好模式，就可以随便成功的。

前几天有个创业者来找我咨询，说他们发现国内有个不错的模式，那个谁谁和谁谁做的都不错，他们觉得东南亚也有类似的需求，自我感觉很有相关经验，做了一个demo，想来听听我的看法，我又是表现的非常不礼貌，我直说不要跟我谈模式，咱们直接看看这个需求，在国内，这种需求是因何而起的，为什么会产生这样的需求，以及解决这个需求里，最核心的问题和关键点是什么，那么他所提到的那些国内成功案例，是基于怎样的条件，基础，以及动作来解决这些问题的。

那么，回过头来，看这边，第一，需求的缘起是什么，这边有没有类似的场景，新加坡有没有，印尼有没有，马来西亚有没有，哪些领域有，哪些具体的场景下有，好，你们认为有，考虑了一二三，这没问题。第二，这里的关键点，核心问题是什么，是怎么考虑的，怎么解决的。能不能解决，以及能不能低成本解决。

然后拿产品demo来看，一看我就说不行，这设计明显不对，所谓功能亮点，根本是设计者的自high，关键点，核心问题，产品设计里完全没有体现出来。然后拿国内产品的app视图，具体视图，文案，图片，功能点，一点点对比来看，看人家这么设计的初衷，目的，以及对消费决策的影响是怎么进行的。

模式对不对，概念好不好，其实根本不重要，重要的是创业团队，对需求的理解，分析能力，以及产品设计和运营过程中，针对关键问题的分析和解决能力，当然还包括强大的执行力，执行力的一个重要部分是解决核心诉求中所可能需要的技术处理能力，比如并发支撑的能力，比如有效提高用户转化效率的深度学习的策略，比如通过运营数据获得有效反馈并快速迭代的能力。

互联网一直会有新产品，新模式出现，一个新产品风靡互联网，获得成功，因为之前没有参考的样本，那么就有人把这个东西整理总结成为一个新的模式，新的概念，这本身没有问题。但切不可因果倒置，舍本逐末，错把概念和模式当作成功的先决条件。而成功往往有很多细节和因素组成，简单归结于模式与概念，是一种思维偷懒的做法。

创业者，切莫被混子们和各种不靠谱分析师带偏节奏。你把产品做好的，你说你是什么概念，什么模式都对，你做的不好，什么概念，什么模式也救不了你。

我这个人确实比较落伍，其实在任何年代，我都没办法把自己包装成时代先锋，都没办法靠概念和模式来标榜自己。我知道中国有很多奇葩的商业案例，真的是可以靠概念，靠标榜自己赚钱。混子可以到处招摇撞骗，创业者甚至可以通过绑架投资人（绑架式创业），在公司业务一团糟的情况下，让自己身价倍增，成功套现。所以如果一定要说，炒概念的没有好下场，好像还真不是。（老道消息有一篇 to baidu创业，说的也是这回事来着，嗯，牛皮吹的好，找到接盘侠就是胜利）。但这事我是做不来，也不建议大家去学。

马云对alphago的解读是这样的，认为人下棋的乐趣是捡对手的勺子，没有勺子下棋就没有乐趣。所以alphago没有意义，也不建议国内的公司去研究。

那么吐槽的话我就不说了，今天我延展一下，你们会发现，互联网大佬，或者其他领域的成功人士，很多都号称喜欢传统国学，马云也不例外，又是李一道长，又是王林大师。

传统国学学什么呢。学易经，学论语，学太极等等。

围棋也可以称为传统国学，为啥他们不学呢？

原因只有一个，围棋这玩意，水平衡量太直接了，你是什么水平，就是什么水平。

成功人士当然要证明自己在所有领域都是最牛逼的一群，学一点玄虚的东西，无可佐证，会念几句佛经，多捐一点香火钱，分分钟就仁波切了。本来太极呢，是可以通过实战检验的，但有一种东方神秘不可说的力量，拒绝和阻止了这种检验。所以，围棋这玩意，逼格再高，他们也不敢拿出来秀。

之前有评论认为我在IT圈里属于围棋水平高的，其实真不是，我知道互联网领域就有很多围棋业余高手，比如我的老同事，新浪副总裁褚达晨，棋力明显在我之上，但问题来了，即便他是围棋业余高手，在新浪里，至少还有几个围棋频道编辑的水平，比他更胜一筹。所以，即便是老板，成功人士，在围棋这个领域，你很难有额外的加分和光环，也很难让下属对你的水平心服口服。

只要马云愿意，他一定是阿里最牛的易经大师；只要马云愿意，他一定是阿里最牛的太极大师；只要马云愿意，他一定是阿里最牛的国学大师；但不管马云愿意不愿意，他在阿里围棋爱好者里，都是不入流的。

像金庸那种棋痴，成功人士里又能有几个？

所以我就喜欢围棋，是什么水平就是水平，比我强的多如牛毛，一样乐此不彼，但我知道，以捡勺为乐的，不配谈围棋，即便他叫马云。

最后，给自己做个广告吧，那个小密圈新版本升级后，进入三天内退出可以无条件退款。所以，有兴趣的可以到我小密圈看看，觉得不满意直接退出就是了。

退款流程系统设置目前看上去比较复杂，那我简单一点，只要您没有发布任何内容的，三天内退出，我在这里公开授权小密圈官方百分百退款。这个为什么要加这项条件呢，您要是进来打个广告就想退款，那对不住，这可不行对不对。

至于入口链接，您要是找不到，那就算了，说明那里不适合您。

如何将深度学习与你正在做的事情相结合？

作者：李嘉璇

前言

人工智能是目前各行各业最火热的技术，如果说前两年是『互联网+』，那么这两年一定是『AI+』，利用深度学习的技术，给各行各业赋能，并提高效率，是企业智能化的一个方向。

从AI的结合方向来说，一般有2种，一种是行业结合，例如量化投资和智能投顾。

量化投资，量化投资就是利用计算机技术并且采用一定的数学模型去实践投资理念，实现投资策略的过程。它能严格执行投资策略，这样可以克服人性的弱点，如贪婪、恐惧、侥幸心理，也可以克服认知偏差。并且对海量数据的多角度观察，能快速跟踪市场，扩展投资机会。

在比如，AI与教育，国内的几家在线教育机构都有涉猎。英语流利说，用语音识别的方法，来判断用户的发音是否准确；乂学教育，将高中小学的题目，依据语义识别，将题目背后的知识点挖掘出来，用来诊断用户对一道题的不会做，究竟是哪些知识点不会，可能涉及到的小初高的各个知识点，分别列出，方便针对性的练习；小猿搜题利用OCR技术，获取题目的文本资料，最后对题目在数据库中及知识点中做匹配。

另一种是技术结合，这里的技术指的是互联网企业从业人员的各个角色，例如运维、开发、运营、搜索、推荐等。也是我们这里主要介绍的内容。这里可以做的事情很多，一般是一些重复性工作，有一定规律，但是这种规律不容易用规则描述，都可以尝试用深度学习的方法来赋能。

当然，深度学习或者机器学习在上面两种结合的情况下获得成功案例，离不开这几大要素：

数据

标注

工具（算法和系统）

应用场景

我们也逐个来展开。最后介绍深度学习中遇到的几个挑战，以及解决的思路。

一、如何将深度学习与你正在做的事情相结合

智能运维

运维的发展目前经历了从基于规则到基于学习的。运维面临的最大挑战就是：在互联网公司很难人工指定规则。在一个较大的企业中，它的特点如下：

规模大：

100多个产品线

上万个模块

几十万台服务器

百万级KPI监控

变化快：

每天上万个软件更新

互联网从业员工流动性强

那么在运维中，都有哪些场景，可以尝试引入机器学习的算法呢？

场景一：事故的根因分析（RCA）

自动挖掘模块报警事件之间的关联关系，这需要对大量的事故单和项目流程进行学习，从而达到自动根因定位

场景二：自动检测PV异常

主要是学习PV的变化曲线，标注出异常点；当数据量不足时，也可以人为模拟一些日志，制造异常的峰谷值。

场景三：自动分析性能瓶颈并提出优化建议

场景四：自动关联KPI异常与版本上线

KPIs（Key Performance Indicators）是用来衡量服务性能的关键指标。服务器的异常行为包括潜在的风险、故障、bugs、攻击等。而KPI异常检测是指在KPI时序曲线上识别异常行为，并进行诊断和修复。

场景五：自动评估软件更新对应用的影响（PV、网卡吞吐率、内存利用率）

场景六：从线上事故报告单中提取有价值的信息

现在事故报告单在公司里都有相对固定的格式，可以用NLP技术+关键词提取+命名实体识别等对事故报告单结合PV、KPI等指标进行分析。

上述情景下这几大要素的解决：

数据：海量日志作为特征数据。

标注：格式化的线上事故单、事故报告。

算法：运维人员向算法开发人员描述运维异常，开发人员负责构建异常检测系统和检测器。

应用：运维人员可以设计、部署、使用、并受益于智能运维系统，形成有效闭环。

同时，如果我们把关注的那些KPI，如果抽象成时序数据，跟电商的销售数据，跟游戏的KPI指标没有本质的区别，因此，如何结合行业，也可以做一些智能的销售预测，游戏在线峰值监控等。如果抽象成算法层面，可能都有很好的应用场景，但是如果在算法层面进行更多投入，可以跳出运维本身到智能运营这块。

智能运营

微信自动化运营工具及微信读群助手。

场景一：微信读群助手：每天群过多，大多数群处于『消息免打扰』的状态，希望智能的读取群中的有用信息，生成每日群消息日报。

数据及标注：有很多hook的方式可以获取到个人的所有群的消息。对群消息进行人为的划分，实际上抽象为『有用』和『无用』的二分类问题。

例如，在『人工智能』的相关群中，对讨论AI相关的聊天，划分为『有用』，而『呵呵』或者表情，划分为『无用』。在『吉他弹唱』相关的群里，将吉他相关的聊天以及分享文章划分为『有用』，其他划分为『无用』。

模型及算法，可以参考利用深度学习进行情感分析的论文以及开源项目。例如：

https://github.com/yala/introdeeplearning

但是，聊天不同于陈述。这背后涉及到一个本质的区别——“是否有交互”。一旦涉及到交互，情感分析（sentiment analysis）评判标准的复杂度就要上升不止一个数量级了。

原因第一是大部分隐藏信息不出现在文本里，第二是交互对话信息的跳跃，这导致LSTM的记忆其实作用不是太大。

一些方式可以利用NLU语义理解，从文本中抽取重要的实体和意图，作为特征加入到学习中，并且加上一套规则，结合用户的建模模型再对这个聊天交互的『作用』进行判别。

场景二：微信自动化运营工具：如果你是一个B端，如何同时管理多个用户群。除了目前的第三方工具的微信群的消息转发功能，其实有很多地方都可以引入智能管理。

例如，群内用户发广告问题，可以抽象为二分类问题，利用NLP等技术对广告进行识别。

再如，我们可以抓取分析群内用户的历史消息行为，分析他们的职业、年龄等信息，使用深度学习对用户画像标签进行建模。

参考文献：

http://www.aclweb.org/anthology/W15-1705

这样，在用户数极大的情况下，希望能筛选出最可能消费产品的潜在用户。

智能测试

智能测试分为两种，一种是采用智能化的手段对线上产品做测试，另一种就是本身对深度学习模型引入深度学习的方法进行测试。

场景一：比如新上线一个功能，从UI界面的操作角度，可以有自动化的测试流程。顺次执行界面上的各个功能，统计是否达到预期。再比如对各种API接口的测试，对传入接口的参数依次做校验，以及对结果数据是否达到预期进行测试。目前在这个领域，还在观察智能化引入的地方，也和大家多多交流。

场景二：用来测试深度学习系统的工具，例如DeepXplore，一个测试深度学习系统的白箱框架。它的主要作用在于:（1）可以生成输入，生成尽可能不同的异常case，测试深度学习系统逻辑的不同部分；（2）不去人工干预的情况下，识别深度学习系统的不正确行为。并且利用多个有类似功能的深度学习系统作为交叉引证，因此避免了对错误行为的手动检查。

参考文献：

https://arxiv.org/abs/1705.06640

其他领域例如化学、制药工程与深度学习相结合

这种结合可以发生在从宏观到微观的多个层面：

例如上面这幅图，是使用SVM和决策树来发现无机-有机杂化材料，并且登上了Nature的封面。

在宏观上，例如在新药合成上，通常通过对药物分子化合物库的学习来找到有意义的药物分子结构。各种机器学习方法可以被用来预测化合物的毒理性，如急性毒性、皮肤敏感性以及各种慢性毒性，如致癌性、致畸性、对各种脏器的毒性等等。

到微观层面，就和理论化学相关。比如将药物分子抽象为图，它的原子是节点，键是边，利用分子的对称性来预测分子的性质。

文献参考:《Neural Message Passing for Quantum Chemistry》

将深度学习的方法引入化学，实际上是一种统计代替解析的思想。例如，在自然语言处理领域，最初的方法是像编程语言一样，写语法规则做语法分析然后得到语法树再做下一步考虑。后来采用基于统计的方法——不考虑一个词A到底是什么成分，只看这个词A出现在另一个词B后面的概率有多大。化学也是类似，不再去使用DFT求薛定谔方程的近似解，而是基于累积的现象，用统计的方法，来预测分子的性质。

几大要素的解决：

数据及标注：即表示化合物的方法。例如毒理性，遇上一条记录一条，量不是很大。描述化合物的方法，有很多现成的软件，比如PaDEL，这些描述符会计算化合物的一些结构信息，比如包含几个芳香环，有几个sp2杂化的碳原子之类的，也会计算化合物的电荷分布还有极性等性质。

搜索和推荐

目前，推荐和搜索中引入强化学习是非常有效的手段。强化学习，目前分类可以有以下几种：有根据奖赏最大化的不同，是基于概率（Policy_based），直接输出下一步要采取的各种动作的概率, 然后根据概率采取行动；还是基于价值（Value_based）的方法输出则是所有动作的价值, 我们会根据最高价值来选着动作。

有根据状态更新策略来划分的，比如是一个回合再进行更新，还是每进行一个动作就去更新。

主要建模方法为，把搜索/推荐系统看作智能体（Agent）、把用户看做环境（Environment），则商品的推荐问题可以被视为典型的顺序决策问题。Agent每一次排序策略的选择可以看成一次试错（Trial-and-Error），把用户的反馈，点击成交等作为从环境获得的奖赏。在这种反复不断地试错过程中，Agent将逐步学习到最优的排序策略，最大化累计奖赏。

例如在推荐商品的场景中，利用用户前几个状态下的点击、下单、收藏等行为，来推荐出当前状态下的商品列表。

参考文献:

《Reinforcement Learning Architecture for Web Recommendations》

《结合TensorFlow进行强化学习的代码实现》

视觉与行业结合

视觉和电商行业结合，已经有一些落地的产品应用。例如，陌上花科技对视频和直播平台，做实时的贴图广告、互动；玛隆科技做时尚的智能搜索，可以上传服装图片，找到含有相似服装的图片。Amazon Go也是利用视觉技术，铺设线下的无人超市。视觉和行业结合的点也非常多。

那么在AI+的过程中，我们会面临哪些问题，以及如何解决呢？

二、深度学习面临的4个挑战及递进解决方案

标注数据量较小

目前标注数据是非常昂贵的，尤其当数据量很大的时候。因此，如何从无标注数据或者尽可能需要少的标注数据里学习，一个途径就是利用生成式对抗网络，以及对偶学习的思路。

很多AI领域的任务，例如机器翻译（中英对译）、语音识别和语音合成，图像描述和图像生成，问题回答和问题生成等，都是对称的任务。

而对偶学习的思路在于，用两个神经网络分别对对称任务进行学习，用学习的结果和源数据的相似性大小来进行训练。

另一个途径就是做一些自动标注工具。用一些标注数据先训练一个自动标注模型，尽管准确度可以不是很高。用这个自动标注工具来对剩余的大批量数据进行标注，最后加入人工审核校对的过程。

模型本身太大，如何应用在移动端以及尽量不损失精度

目前在手持设备上采用AI模型是前沿趋势。这就衍生出了很多加速计算的方向，其中重要的两个方向是对内存空间和速度的优化。采用的方式一是精简模型，既可以节省内存空间，也可以加快计算速度；二是加快框架的执行速度，影响框架执行速度主要有两方面的因素，即模型的复杂度和每一步的计算速度。

精简模型主要是使用更低的权重精度，如量化（quantization）或权重剪枝（weight pruning）。剪枝是指剪小权重的连接，把所有权值连接低于一个阈值的连接从网络里移除。

而加速框架的执行速度一般不会影响模型的参数，是试图优化矩阵之间的通用乘法（GEMM）运算，因此会同时影响卷积层（卷积层的计算是先对数据进行im2col运算，再进行GEMM运算）和全连接层。

量化（quantitative），这里不是指金融上的量化交易，而是指离散化。量化是一个总括术语，是用比32位浮点数更少的空间来存储和运行模型，并且TensorFlow量化的实现屏蔽了存储和运行细节。

神经网络训练时要求速度和准确率，训练通常在GPU上进行，所以使用浮点数影响不大。但是在预测阶段，使用浮点数会影响速度。量化可以在加快速度的同时，保持较高的精度。

量化网络的动机主要有两个。最初的动机是减小模型文件的大小。模型文件往往占据很大的磁盘空间，例如，ImageNet上训练出的几个模型每个都接近200 MB，模型中存储的是分布在大量层中的权值。在存储模型的时候用8位整数，模型大小可以缩小为原来32位的25%左右。在加载模型后运算时转换回32位浮点数，这样已有的浮点计算代码无需改动即可正常运行。

量化的另一个动机是降低预测过程需要的计算资源。这在嵌入式和移动端非常有意义，能够更快地运行模型，功耗更低。从体系架构的角度来说，8位的访问次数要比32位多，在读取8位整数时只需要32位浮点数的1/4的内存带宽，例如，在32位内存带宽的情况下，8位整数可以一次访问4个，32位浮点数只能1次访问1个。而且使用SIMD指令，可以在一个时钟周期里实现更多的计算。另一方面，8位对嵌入式设备的利用更充分，因为很多嵌入式芯片都是8位、16位的，如单片机、数字信号处理器（DSP芯片），8位可以充分利用这些。

此外，神经网络对于噪声的健壮性很强，因为量化会带来精度损失（这种损失可以认为是一种噪声），并不会危害到整体结果的准确度。

那能否用低精度格式来直接训练呢？答案是，大多数情况下是不能的。因为在训练时，尽管前向传播能够顺利进行，但往往反向传播中需要计算梯度。例如，梯度是0.2，使用浮点数可以很好地表示，而整数就不能很好地表示，这会导致梯度消失。因此需要使用高于8位的值来计算梯度。因此，正如在本节一开始介绍的那样，在移动端训练模型的思路往往是，在PC上正常训练好浮点数模型，然后直接将模型转换成8位，移动端是使用8位的模型来执行预测的过程。

如何从小样本中有效学习

深度学习往往需要大量数据，当数据量不足，或者数据不足以覆盖所有场景时，往往就要把深度学习、知识图谱、逻辑推理、符号学习等结合起来，将人类已有的一些先验知识结合神经网络进行训练。

例如，《Label-Free Supervision of Neural Networks with Physics and Domain Knowledge》中介绍的『用物理和特定领域知识让神经网络进行不带标签的监督学习』，在视频中把运动的枕头的轨迹检测出来。结合物质知识，枕头运动的轨迹应该是二次型的抛物线，这样就减少林要大量地对视频的每一帧枕头运动轨迹进行标注。

数据稀疏

数据稀疏性很多场景下面临的调整，尤其是个性化推荐系统中，待处理的推荐系统规模越来越大，用户和商品数目动辄百千万计，两个用户之间选择的重叠非常少，用户对商品的消费、点击、评论行为更是稀少。数据非常稀疏，使得绝大部分基于关联分析的算法（譬如协同过滤）效果都不好。

因此，一般会用一些特征提取、或者对用户和商品进行聚类的方法。亚马逊的 DSSTNE（https://github.com/amznlabs/amazon-dsstne）是专门针对稀疏场景下的开源深度学习框架。在稀疏场景下，DSSTNE的运算速度比其他深度学习库快得多，推荐问题及不少自然语言理解任务都属于这个领域。

最后，欢迎大家提出自己领域中的问题，一起交流AI的解决方案。

数据驱动决策的13种思维

来源：川术作者：胡晨川

“数据驱动决策”，为了不让这句话成为空话，请先装备以下13种思想武器，相信将来你一定能用上！

第一、信度与效度思维

这部分也许是全文最难理解的部分，但我觉得也最为重要。没有这个思维，决策者很有可能在数据中迷失。

信度与效度的概念最早来源于调查分析，但现在我觉得可以引申到数据分析工作的各方面。

**所谓信度，是指一个数据或指标自身的可靠程度，包括准确性和稳定性**取数逻辑是否正确？有没有计算错误？这属于准确性；每次计算的算法是否稳定？口径是否一致？以相同的方法计算不同的对象时，准确性是否有波动？这是稳定性。做到了以上两个方面，就是一个好的数据或指标了？其实还不够，还有一个更重要的因素，就是效度！

**所谓效度，是指一个数据或指标的生成，需贴合它所要衡量的事物，即指标的变化能够代表该事物的变化。**

只有在信度和效度上都达标，才是一个有价值的数据指标。举个例子：要衡量我身体的肥胖情况，我选择了穿衣的号码作为指标，一方面，相同的衣服尺码对应的实际衣服大小是不同的，会有美版韩版等因素，使得准确性很差；同时，一会儿穿这个牌子的衣服，一会儿穿那个牌子的衣服，使得该衡量方式形成的结果很不稳定；所以，衣服尺码这个指标的信度不够。另一方面，衡量身体肥胖情况用衣服的尺码大小？你一定觉得荒唐，尺码大小并不能反映肥胖情况，是吧？因此效度也不足。体脂率，才是信度和效度都比较达标的肥胖衡量指标。

在我们的现实工作中，许多人会想当然地拿了指标就用，这是非常值得警惕的。你要切骨头却拿了把手术刀，是不是很可悲？信度和效度的本质，其实就是**数据质量**的问题，这是一切分析的基石，再怎么重视都不过分！

第二、平衡思维

说到天平大家都不陌生，平衡的思维相信各位也都能很快理解。简单来说，在数据分析的过程中，我们需要经常去寻找事情间的平衡关系，且平衡关系往往是关乎企业运转的大问题，如市场的供需关系，薪资与效率关系，工作时长与错误率的关系等等。

**平衡思维的关键点，在于寻找能展示出平衡状态的指标！**也就是如图中红框，我们要去寻找这个准确的量化指标，来观察天平的倾斜程度。怎么找这个指标呢？以我的经验，一般先找双向型的问题，即高也不是低也不是的问题，然后量化为指标，最后计算成某个比率，长期跟踪后，观察它的信度和效度。

第三、分类思维

客户分群、产品归类、市场分级、绩效评价...许多事情都需要有分类的思维。主管拍脑袋也可以分类，通过机器学习算法也可以分类，那么许多人就模糊了，到底分类思维怎么应用呢？

**关键点在于，分类后的事物，需要在核心指标上能拉开距离！**也就是说分类后的结果，必须是显著的。如图，横轴和纵轴往往是你运营当中关注的核心指标（当然不限于二维），而分类后的对象，你能看到他们的分布不是随机的，而是有显著的集群的倾向。

举个例子：假设该图反映了某个消费者分群的结果，横轴代表购买频率，纵轴代表客单价，那么绿色的这群人，就是明显的“人傻钱多”的“剁手金牌客户”。

第四、矩阵化思维

矩阵思维是分类思维的发展，它不再局限于用量化指标来进行分类。许多时候，我们没有数据做为支持，只能通过经验做主管的推断时，是可以把某些重要因素组合成矩阵，大致定义出好坏的方向，然后进行分析。大家可以百度经典的管理分析方法“波士顿矩阵”模型。

第五、管道/漏斗思维

这种思维方式已经普及：注册转化、购买流程、销售管道、浏览路径等，太多的分析场景中，能找到这种思维的影子。

但我要说，看上去越是普世越是容易理解的模型，它的应用越得谨慎和小心。在漏斗思维当中，我们尤其要注意**漏斗的长度**。

漏斗从哪里开始到哪里结束？以我的经验，漏斗的环节不该超过5个，且漏斗中各环节的百分比数值，量级不要超过100倍（漏斗第一环节100%开始，到最后一个环节的转化率数值不要低于1%）。若超过了我说的这两个数值标准，建议分为多个漏斗进行观察。当然，这两个是经验数值，仅仅给各位做个参考～

理由是什么呢？超过5个环节，往往会出现多个重点环节，那么在一个漏斗模型中分析多个重要问题容易产生混乱。数值量级差距过大，数值间波动相互关系很难被察觉，容易遗漏信息。比如，漏斗前面环节从60%变到50%，让你感觉是天大的事情，而漏斗最后环节0.1%的变动不能引起你的注意，可往往是漏斗最后这0.1％的变动非常致命。

第六、相关思维

我们观察指标，不仅要看单个指标的变化，还需要观察指标间的相互关系！有正相关关系（图中红色实线）和负相关关系（蓝色虚线）。最好能时常计算指标间的相关系数，定期观察变化。

相关思维的应用太广了，我提往往是被大家忽略的一点。现在的很多企业管理层，面对的问题并不是没有数据，而是数据太多，却不知道怎么用。相关思维的其中一个应用，**就是能够帮助我们找到最重要的数据，排除掉过多杂乱数据的干扰！**

如何执行呢？你可以计算能收集到的多个指标间的相互关系，挑出与其他指标相关系数都相对较高的数据指标，分析它的产生逻辑，对应的问题，并评估信度和效度，若都满足标准，这个指标就能定位为核心指标！

建议大家养成一个习惯，经常计算指标间的相关系数，仔细思考相关系数背后的逻辑，有的是显而易见的常识，比如订单数和购买人数，有的或许就能给你带来惊喜！另外，“没有相关关系”，这往往也会成为惊喜的来源哦。

第七、远近度思维

现在与许多处在管理层的朋友交流后，发现他们往往手握众多数据和报表，注意力却是非常的跳跃和分散。如何避免呢？一是上文说的通过相关思维，找到最核心的问题和指标；二就是这部分要说的，建立远进度的思维方式。

确定好核心问题后，分析其他业务问题与该核心问题的远近程度，由近及远，把自己的精力有计划地分配上去。比如：近期你地核心任务就是提高客服人员的服务质量，那么客服人员的话术、客户评价通道、客服系统的相应速度等就是靠的最近的子问题，需要重点关注，而客户的问询习惯、客户的购买周期等就是相对远的问题，暂时先放一放。当然，本人经历有限，例子举得不恰当的地方还望读者们海涵。

第八、逻辑树思维

如图的树状逻辑相信大家已经见过许多回了。一般说明逻辑树的分叉时，都会提到“分解”和“汇总”的概念。我这里把它变一变，使其更贴近数据分析，称为“下钻”和“上卷”。当然，这两个词不是我发明的，早已有之。

所谓下钻，就是在分析指标的变化时，按一定的维度不断的分解。比如，按地区维度，从大区到省份，从省份到城市，从省市到区。所谓上卷就是反过来。随着维度的下钻和上卷，数据会不断细分和汇总，在这个过程中，我们往往能找到问题的根源。

下钻和上卷并不是局限于一个维度的，往往是多维组合的节点，进行分叉。逻辑树引申到算法领域就是决策树。有个关键便是何时做出决策（判断）。当进行分叉时，我们往往会选择差别最大的一个维度进行拆分，若差别不够大，则这个枝桠就不在细分。能够产生显著差别的节点会被保留，并继续细分，直到分不出差别为止。经过这个过程，我们就能找出影响指标变化的因素。

举个简单的例子：我们发现全国客户数量下降了，我们从地区和客户年龄层级两个维度先进行观察，发现各个年龄段的客户都下降，而地区间有的下降有的升高，那我们就按地区来拆分第一个逻辑树节点，拆分到大区后，发现各省间的差别是显著的，那就继续拆分到城市，最终发现是浙江省杭州市大量客户且涵盖各个年龄段，被竞争对手的一波推广活动转化走了。就此通过三个层级的逻辑树找到了原因。

第九、时间序列思维

很多问题，我们找不到横向对比的方法和对象，那么，和历史上的状况比，就将变得非常重要。其实很多时候，我更愿意用时间维度的对比来分析问题，毕竟发展地看问题，也是“红色方法论”中的重要一环。这种方式容易排除掉一些外在的干扰，尤其适合创新型的分析对象，比如一个新行业的公司，或者一款全新的产品。

时间序列的思维有三个关键点：**一是距今越近的时间点，越要重视**（图中的深浅度，越近期发生的事，越有可能再次发生）；二是要做**同比**（图中的尖头指示，指标往往存在某些周期性，需要在周期中的同一阶段进行对比，才有意义）；三是**异常值出现时，需要重视**（比如出现了历史最低值或历史最高值，建议在时间序列作图时，添加平均值线和平均值加减一倍或两倍标准差线，便于观察异常值）。

时间序列思维有一个子概念不得不提一下，就是“生命周期”的概念。用户、产品、人事等无不有生命周期存在。本人最近也正在将关注的重心移向这块，直觉上，生命周期衡量清楚，就能很方便地确定一些“阀值”问题，使产品和运营的节奏更明确。

第十、队列分析思维

随着数据运算能力的提高，队列分析的方式逐渐展露头脚。英文名称为cohort analysis，说实话我不知道怎么表述这个概念，我的理解就是**按一定的规则，在时间颗粒度上将观察对象切片，组成一个观察样本，然后观察这个样本的某些指标随着时间的演进而产生的变化**。目前使用得最多的场景就是留存分析。

举个经常用的例子：假设5.17我们举办了一次促销活动，那么将这一天来的新用户作为一个观察样本，观察他们在5.18、5.19...之后每天的活跃情况。

队列分析中，指标其实就是时间序列，不同的是衡量样本。队列分析中的衡量样本是在时间颗粒上变化的，而时间序列的样本则相对固定。

第十一、循环／闭环思维

循环／闭环的概念可以引申到很多场景中，比如业务流程的闭环、用户生命周期闭环、产品功能使用闭环、市场推广策略闭环等等。许多时候你会觉得这是一个不落地的概念，因为提的人很多，干出事情来的例子很少。

但我觉得这种思考方式是非常必要的。业务流程的闭环是管理者比较容易定义出来的，列出公司所有业务环节，梳理出业务流程，然后定义各个环节之间相互影响的指标，跟踪这些指标的变化，能从全局上把握公司的运行状况。

比如，一家软件公司的典型业务流：推广行为（市场部）➡流量进入主站（市场＋产研）➡注册流程（产研）➡试用体验（产研＋销售）➡进入采购流程（销售部）➡交易并部署（售后＋产研）➡使用、续约、推荐（售后＋市场）➡推广行为，一个闭环下来，各个衔接环节的指标，就值得关注了：广告点击率➡注册流程进入率➡注册转化率➡试用率➡销售管道各环节转化率➡付款率➡推荐率／续约率...这里会涉及漏斗思维，如前文所述，**千万不要用一个漏斗来衡量一个循环**。

有了循环思维，你能比较快的建立有逻辑关系的指标体系。

第十二、测试／对比思维

AB test,大家肯定不陌生了。那么怎么细化一下这个概念？一是在条件允许的情况下，决策前尽量做对比测试；二是测试时，一定要注意参照组的选择，建议任何实验中，都要留有不进行任何变化的一组样本，作为最基本的参照。

现在数据获取越来越方便，在保证数据质量的前提下，希望大家多做实验，多去发现规律。

第十三、指数化思维

指数化思维，是指将衡量一个问题的多个因素分别量化后，组合成一个综合指数（降维），来持续追踪的方式。把这个放在最后讨论，目的就是强调它的重要性。前文已经说过，许多管理者面临的问题是“数据太多，可用的太少”，这就需要“降维”了，即要把多个指标压缩为单个指标。

指数化的好处非常明显，**一是减少了指标，使得管理者精力更为集中；二是指数化的指标往往都提高了数据的信度和效度**；三是指数能长期使用且便于理解。

指数的设计是门大学问，这里简单提三个关键点：一是要遵循**独立和穷尽**的原则；二是要注意各指标的单位，尽量做**标准化**来消除单位的影响；三是权重和需要等于1。

独立穷尽原则，即你所定位的问题，在搜集衡量该问题的多个指标时，各个指标间尽量相互独立，同时能衡量该问题的指标尽量穷尽（收集全）。举个例子：当初设计某公司销售部门的指标体系时，目的是衡量销售部的绩效，确定了核心指标是销售额后，我们将绩效拆分为订单数、客单价、线索转化率、成单周期、续约率5个相互独立的指标，且这5个指标涵盖了销售绩效的各个方面（穷尽）。我们设计的销售绩效综合指数＝0.4＊订单数＋0.2＊客单价＋0.2＊线索转化率＋0.1＊成单周期＋0.1＊续约率，各指标都采用max-min方法进行标准化。

通过这个例子，相信各位就能理解指数化思维了。

小节

本篇内容在我脑中酝酿了2月有余了，但当起笔成文时，依然觉得自己的思考还不够全面，经验也不够丰富。各种思维方式的应用，似乎没有孰好孰坏，是否启用看似也比较随机。希望随着我经历的不断丰富，能够总结出一套行之有效的思维技巧，但目前还不行。

总的来说，数据质量依然是我觉得最大的前提。重要事情说三遍，动手前，一定要保证好数据质量！

新一代技术+商业操作系统：

AI-CPS OS

在新一代技术+商业操作系统（AI-CPS OS：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生，在行业、企业和自身三个层面勇立鳌头。

数字化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置。

分辨率革命：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品控制、事件控制和结果控制。
复合不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊化：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。随着变革范围不断扩大，一切都几乎变得不确定，即使是最精明的领导者也可能失去方向。面对新一代技术+商业操作系统（AI-CPS OS：云计算+大数据+物联网+区块链+人工智能）颠覆性的数字化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位。

如果不能在上述三个层面保持领先，领导力将会不断弱化并难以维继：