【人工智能】从数据预处理到排序算法，全方位解读 Uber 人工智能客服 COTA

2018 年 1 月 28 日 产业智能官 创业家

日前，Uber 官网上的一篇文章详细介绍了基于 NLP 和机器学习构建的 COTA 客服系统。利用该系统，Uber 可以快速高效地解决 90％以上的客服问题。

为了打造最佳用户体验，Uber 持续优化客户支持流程，让客户支持服务更易用，更方便。为实现这一目标，Uber Customer Obsession 团队基于其内部平台，提供 5 种不同客服渠道（应用内置客户支持、官网客户支持、本地司机网、电话客服、线下服务网点）。这个内部平台具备客服工单功能，以便跟踪解决问题。每天提交到这个平台上的客服工单有数十万条，遍布全球 400 多个城市。Customer Obsession 团队必须确保客服代表能尽可能准确、快速地解决问题。

基于此，Uber 打造了一个人工智能客服助理平台——COTA（Customer Obsession Ticket Assistant），它利用机器学习和自然语言处理（NLP）技术，帮助客服代表提供更好的客户支持服务。

在 Uber 客户支持平台上，利用 Michelangelo 平台的机器学习服务，COTA 可以快速高效地解决 90％以上的客服问题。

下面，我们会详细介绍创造 COTA 的动机，COTA 后端架构，并展示如何利用这一强大工具提高客户满意度。

没有 COTA 之前的客户支持

当客户联系 Uber 寻求支持时，我们必须及时为他们提供最好的解决方案。

我们可以让用户在提交问题报告时，点选问题所属的类别，填写细节。这一过程为客服提供了很多背景信息，从而能更快解决问题。

Uber 内置的客户支持服务能反映问题的背景信息，虽然这些信息很重要，但要解决客户的问题，单靠这些信息远远不够，特别是在一个问题有多种工单答案的情况下。此外，同一个问题，客户可以通过多种方式来描述，因此问题的解决过程更为复杂。

随着 Uber 的服务规模不断扩大，客服必须应对不断增长的客户支持问题，同时，问题也变得更为多样化，包括技术故障和费用调整等。事实上，当客服在解决客户提交的问题时，他们首先要做的是从数千个类别中，确定问题所属类型，这绝非易事！

缩短识别问题类型的时间非常重要，它能减少客服解决用户问题的总时间。

确定问题类型后，下一步就是给出正确的解决方案，每种类型的工单都有不同协议和解决方法。此外，还要从成千上万个可能的解决方案中进行选择，这也是一个耗时的过程。

COTA：客户工单助手

基于前面的背景，我们设计 COTA 来帮助客服提高解决问题的速度和准确性，从而改善客户体验。

COTA 利用 Michelangelo 平台来简化、加速和标准化客服工单流程。目前，COTA 由一组向客服推荐解决方案的模型组成，只支持英文工单，我们正试图建立可以处理西班牙语和葡萄牙语客服工单的模型。

基于我们的支持平台，根据客服工单内容和行程上下文信息，Michelangelo 模型提供三种最可能的问题类型及其解决方案。

COTA 系统包括如下 7 步：

1. 客服工单进入客户支持平台（CSP），后端服务系统采集工单的相关特征；

2. 后端服务系统将这些特征发送到 Michelangelo 机器学习模型；

3. 模型预测每个可能的解决方案的得分；

4. 后端服务系统接收预测方案和分数，并将其保存到 Schemaless 数据库中；

5. 客服打开客服工单后，前端服务系统将触发后端服务系统，以检查客服工单内容是否有更新。如果没有更新，后端服务系统将检索保存于数据库中的解决方案；如果工单有更新，它将抓取更新后的特征，并再次执行步骤 2-4。

6. 后端服务系统将解决方案按分数高低排列，然后返回至前端服务系统；

7. 将排名前三的解决方案推荐给客服；至此，客服只需做出选择，就可以解决工单。

COTA 的表现非常优秀：根据客户服务调查结果显示，COTA 可以将工单解决时间缩短 10％以上，同时还可以达到之前用人工处理的客户满意度，甚至比之前人工处理的满意度更高。

COTA 中的机器学习模型为客服提供了更快和更准确的工单解决方案，使 Uber 客户支持服务更加完美。

基于 NLP 和机器学习构建 COTA

表面上看，COTA 只需收集工单问题的上下文信息，并返回可能的解决方案，但幕后还有很多事情要做。COTA 后台负责完成两项任务：确定工单所属类型并确定最合理的解决方案。

为了实现这一点，机器学习模型需要从客户提交的文本消息中提取特征、行程信息和客户提交问题时所选的类别。

当模型生成特征分数时，最有价值的特征是用户发送的问题的文本消息。由于用户发送的文本消息对于理解问题很重要，我们建立了一个 NLP「管道」，能将多种不同语言的文本转换为对机器学习模型有用的特征。

NLP 模型可以翻译和解释不同的文本元素，包括音韵、词性、语法、句法和语义。根据模型的构造单元，NLP 可以建立字符级、单词级、短语级和句子/文档级的语言识别模型。

传统的 NLP 模型是基于人类语言学专业知识来提取文本信息的特征，随着端到端训练的深度学习模式兴起，研究人员开始开发能够解析整个文本块的模型，这时候不必明确地解析一个句子中不同单词之间的关系，而是直接使用原始文本。

在 COTA 中，我们首先构建一个单词级别的 NLP 模型，以更好地理解文本消息的语义。自然语言处理中一个流行的方法是主题建模，通过单词的计数统计信息来理解句子的主题。虽然主题建模没有考虑到字词的顺序，但是对于诸如信息检索和文档分类等任务，已经被证明非常有用。

在 COTA 中，我们使用基于主题建模的 NLP「管道」模型处理文本消息。

预处理

为了清洗文本，我们首先删除文本中的 HTML 标签。接下来，我们分割工单消息中的句子，并删除停顿用词。然后再进行词形化，将单词从不同的时态、派生形式进行还原。最后，我们将文档转换成单词集合，并建立这些单词的字典。

主题建模

为了理解用户意图，预处理之后我们对单词包进行主题建模。

具体而言，我们使用词频 – 逆向文件频率（TF-IDF）的统计方法和潜在语义分析算法（LSA）来提取主题。

特征工程

主题建模使我们能够直接使用主题向量作为特征，下游的分类器能将其作为识别问题类型和选择解决方案的依据。

然而，这种方法太直接，会受到主题向量稀疏性的影响。为了有意义地表达这些主题，我们需要使用数百甚至数千维度的主题向量，而主题向量的之间的相关性接近于零。由于特征空间的维度非常高，需要处理大量的数据，因此训练这些模型变得相当困难。

考虑到这些因素，我们决定以间接方式进行主题建模：通过计算余弦相似度特征来执行下一步的特征工程，如图 4（b）所示。以选择工单解决方案为例，我们收集每个工单解决方案对应的历史工单，并形成这一工单解决方案对应的词汇集。

在这种情况下，主题建模转换是基于历史工单的词汇集表示。我们用向量 Ti 表示工单解决方案 i，对所有工单解决方案都进行这种转换。我们可以将任何新的工单映射到工单解决方案的主题向量空间 T1，T2 … Tm，其中 m 是可能使用的工单解决方案的总数。接下来形成工单 j 的矢量 tj。可以计算出 Ti 和 tj 之间余弦相似度得分 sij，就可以知道工单解决方案 i 和工单 j 之间的相似度，从而将特征空间从数百或数千个维度减少到很低维度。

基于点的排序算法

接下来解释机器学习算法是如何选择工单解决方案的。

为了设计这个算法，我们将余弦相似度特征与其他工单信息、行程特征进行组合。每种工单类型有超过 1,000 种可能的工单解决方案，COTA 的超大的解空间使区分这些工单解决方案之间的细微差异变得很困难。

为了给客服提供最佳的工单解决方案，我们应用了学习排序 (learning-to-rank) 算法，并构建了基于检索的点排序算法。

具体而言，我们将工单解决方案和工单之间的正确匹配标记为正（1），从工单解决方案与工单不匹配的集合中，我们随机抽样形成子集，并标记为负（0）。使用余弦相似度以及工单、行程特征，我们可以建立一个二分法分类器，接下来利用随机森林算法来判断工单解决方案与工单是否匹配。利用算法对可能的匹配进行评分，我们可以对评分进行排名，并给出排名最高的三个解决方案。

更便捷更快的工单处理 = 更好的客户支持

COTA 性能优异，只有应用到实际场景中才有意义。为了衡量 COTA 对客户支持体验的影响，我们对多个在线英语工单进行了受控的 A / B 对比实验。在这些实验中，我们选择了几千名客服，将他们随机分配到对照组和实验组。对照组中的客服代表使用原来的工作流程，而实验组中的客服代表使用 COTA 助理，交互界面包含问题类型和建议的工单解决方案。我们收集了两个组的工单处理结果，并测量了一些关键指标，包括模型准确性、平均处理时间和客户满意度得分。

测试进行如下：

我们首先测量了模型的在线表现，并将其与离线表现进行了比较。我们发现模型性能从离线到在线都是一致的。

然后，我们测量了客户满意度分数，并比较了对照组和实验组。总的来说，实验组的客户满意度提高了几个百分点。这一发现表明，COTA 可以提供相同或略高于人工的客户服务质量。

最后，为了确定 COTA 对工单处理速度的影响，我们比较了对照组和实验组的平均工单处理时间。平均而言，COTA 将工单处理时间缩短了大约 10％。

通过提高客服的绩效和缩短工单解决时间，COTA 帮助 Customer Obsession 团队更好地服务于用户，从而提高客户满意度。COTA 加速了工单处理过程，每年可以为 Uber 节省数千万美元。

下一代 COTA 中的深度学习

COTA 的成功使我们更坚定地持续优化机器学习算法，以提高系统准确性，并为客服和终端用户提供更好的体验。

深度学习框架可以在文本分类、汇总，机器翻译和许多辅助 NLP 任务（句法和语义分析，文本蕴含，命名实体识别和链接）中使用。

与深度学习相关的实验

在 Uber AI 实验室的研究人员的支持下，我们尝试将深度学习应用于下一代 COTA。我们基于卷积神经网络（CNN），递归神经网络（RNN）以及这两者的几种不同组合，实现了多种体系结构，包括分层结构和基于注意力的体系结构。

使用深度学习框架，我们能够以多任务学习的方式来训练我们的模型，使用单一模型既能够识别问题类型，又能提出最佳工单解决方案。由于问题类型被组织成层次结构，我们可以训练模型来预测问题在层次结构中的位置，在这其中使用波束搜索的循环解码器（类似于序列模型的解码组件），可以进行更精确的预测。

超参数优化选择最佳模型

为了确定最佳的深度学习架构，我们针对所有类型的架构进行了大规模超参数优化，并在 GPU 集群上进行了并行训练。最后的结果表明，最精确的体系结构既适用于 CNN 也适用于 RNN，但为了我们的研究目的，我们决定寻求一种更简单的 CNN 体系结构，该体系结构精准度稍有欠缺，但在训练和推断时间上更具优势。我们最后设计的模型精度比原始随机森林模型高 10％。

我们目前正与 Uber Michelangelo 团队紧密合作，处于将这个深度学习模型产品化的最后阶段。

本文来自粹客网，创业家系授权发布

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。