关于苏宁人工智能平台的真面目，你想知道的都在这里了

雷锋网按：9 月 7 日，首届人工智能计算大会(AI Computing Conference 简称 AICC)在京举行。本次大会由中国工程院信息与电子工程学部主办、浪潮集团承办。

在 AI+互联网论坛上，苏宁人工智能实验室技术总监王栋作为嘉宾以《人工智能在苏宁的应用》作了演讲，就智能视频内容理解、全场景个性化、苏宁智能机器人平台三大部分做了详细介绍。

此外，李伟在接受媒体采访时，就苏宁无人零售店等方面的情况进行了解答。

以下为王栋演讲内容实录，雷锋网做了不改变原意的编辑：

智能视觉内容理解

这部分内容在苏宁应用的比较广泛，也算比较成熟。重点介绍两块，第一块是敏感和夸张的表达识别。《中华人民共和国广告法》发布以后，我们禁止一些夸张的词语或者一些敏感词语在广告，包括文本内容和图片内容中出现。所以，我们要尽可能把我们自营的一些商家或者联营商家中上传的图片和文本表达比较夸大的部分，比如世界第一、很好等等这样的字眼去掉。

这部分内容主要涉及到电商图片处理，一个是自动反面分析，另一个是单字符识别，另外一部分是视频监控，主要是用在线下门店的。因为我们都知道苏宁易购有很多线下门店，包括易购、苏宁小店、苏宁超市等等，所以我们在很多情况下是需要做一些店面流量监控以及热力图，可以发现用户进店以后会对哪些区域比较感兴趣，是不是有些用户经常到门店里面去，这样一边做客流量分析，一边在店面选址和线下个性化方面做一些辅助。这部分主要涉及到的是单摄像头和多摄像头目标检测和跟踪，以及在实体店中的一些流量分析。 

首先看一下敏感和夸大表达识别，主要是两个例子。这是我们刚才介绍的，在图片中如果有这样一些字，我们会做检测，最后做一个基本的校正。

这是一些识别样例，我们会自动做一些反面分析，然后做字符区域检测，最后做文字识别。这是我们检测出来相对来说敏感或者夸大的表达，比如说电池广告有最持久、业绩第一等等，这样的表达是新《广告法》禁止的，我们有可能把类似这样的图片做一个识别和去除。

第二部分，视频监控是我们部署在门店里的一个摄像头，主要是在入口区域。这部分是我们希望去监测客流量的，实际上这个摄像头目前我们部署的并不是特别多，主要是做人脸识别，目前只是针对个人做一些去重。

然后是我们部署在店中的摄像头，通过热力图分布可以看到用户对于 3C 数码产品，看展品的用户分布非常多，在其他桌面上是非 3C 数码的线下产品，那些区域用户分布并不是特别多。这样我们给店面的展品布局一些指导意见，如果发现有一些展品持续一周、两周，甚至一个月时间没有什么人观看，我们会及时做展品的上下架。

全场景的个性化 

苏宁易购有线上电商和线下门店，线上电商基本有 PC 和手机端 APP，我们会在很多页面上，像首页以及商品详情页和购物车都会做一些个性化，基本方法是采用业界比较主流的用户画像，包括用户基本描述，以及对类别品牌偏好等等。另外一部分是商品画像，主要是商品自身的一些描述，用当前比较主流的模型做个性化推荐。

首先看一下会话系统，这是一个基于搜索的问答系统以及基于回顾模型智能客服，然后是简单的 Demo。70 年代主要是用图书馆搜索的方法，延续到 90 年代以及 2000 年初的时候，Library Search 已经兴起，2015 年随着搜索技术发展，基于社区的问答、基于知识图谱和知识库的问答不断的兴起，这个时候会话系统已经逐渐的成熟，但实际上会话系统也不是 2015 年出现的，而是存在了很长的时间，只是之前没有引起足够的重视，2015 年出现了很多聊天机器人、客服机器人，学术界和工业界特别重视这个领域的研究。

接下来是 Question Answering Overview 的解说，自动问答是有一个自动算法的，能够自动回答用户提出的问题。目前来说，自动问答有一个基本分类，按照问题类型可以分为是否类问题、观点类问题、事实类问题和比较类问题。按照内容类型来分可以分成文本回答和可视化回答。

文本回答就是用户的问题以及答案，其实都是文本的，但是可视化问答就是你的提问可以用图片来表达，机器人回复的时候也可以给你一个图片，这是多模态问答系统。总的来说，自动问答是整个会话系统后面的一个核心的技术。

这个是基于信息检索系统 Q&A 的基本架构。刚才我们介绍，Q&A 的实验可以分三大类，一类是基于信息检索的，还有一类是基于社区的问题，像百度知道，还有知乎等等。另外一类是基于知识库或者知识图谱的问答，这个相对来说比较火。

首先我们会做一个问题的提问，根据问题预定一个答案，做一个基本的分类。第一步是去检索一些相关文档，从文档中检索一些相关段落，最后再从段落中提取出我们想要的答案，再反馈给用户。

举个例子，比如我想买一部苹果手机，这个时候的答案可能是一些商品推荐或者说商品建议。如果事先不做问答设置的话，有可能反馈回来的是富士苹果，我们知道苹果手机是 3C 产品，跟我们吃的苹果是不一样的。

接下来介绍一下会话系统类型，可以分成两类，一类是 Chatbot，闲聊陪伴机器人；另一类是助理型任务型机器人，它可以帮你完成某一项具体的任务。闲聊陪伴机器人像微软小冰和百度的小度机器人。任务型机器人像微软小娜，苹果 Siri 等等。一些大公司和创业公司都有很多闲聊型机器人和助理型机器人推出，效果也都很不错。

接下来看一个助理型机器人基本架构以及它的工作流程。用户说一段话之后，首先我们要进行语音识别，比如用户的话是让机器人播放一首本周比较流行的爵士音乐，用户说完这段话之后，我们要做一个语音识别，识别成文本，接下来我们就要做自然语言理解，试图理解用户所说的具体的语义。

我们用的比较多的模型是框架语义模型，要做相应信息抽取，把用户想要听的歌手，想要听哪个类型的歌曲，以及具体时间抽出来，把它填充到具体预定义播放的语义里面。

比如，风格是爵士乐，日期是本周，歌手是缺失的，因为这里面的信息没有抽取出来。这种情况下，机器人可能会主动发问你想听谁的爵士乐，对应的槽值达到一定数量以后，我们可能不会主动发问，因为它已经检索到用户想要听的歌曲。接下来有一个会话管理，这部分主要是会话状态跟踪，主要任务是根据当前会话状态以及用户输入决定怎么去响应用户。

基于刚才的例子，播放本周最流行的爵士乐，这时候我会问你想听谁的爵士乐，另外一种类型是直接给用户播放本周最流行的音乐，用户点击之后就可以播放。这一步之后要经过自然语言生成，根据当前用户输入和当前会话状态，决定是反馈用户一首音乐的播放链接，还是再询问用户希望听哪个歌手的爵士乐。这部分要根据响应做一个自然语言的生成，返回用户，这样就是一个多轮交互或者单轮交互的过程。

接下来重点介绍一下自然语言理解。再细分有三个模块，一个是领域分类，比如说我想知道用户到底是想听音乐、问天气，还是电商购物，如果是电商购物，就会涉及到智能导购。第二步是要去理解用户意图，你是想买手机还是想买其他的商品。最后是一个 Slot Filling（槽填充） 模型，我们希望根据用户会话中的信息，抽取出我们要完成这项任务所需要的一些槽位里面的槽值。抽取完毕以后，我们就会做相应的响应。比如说我们直接调动电商的搜索引擎，把用户想要的商品反馈给用户，或者根据用户想听的歌曲搜索一首歌，返回给用户。

我们经常用到的是框架语义模型。有两个例子，一个是购物领域的例子，一个是听音乐的例子，都是具体要完成某一个任务的助理型机器人。比如，用户需求是我想买一个红色苹果手机，适用人群是男士，这个时候我们的框架语义模型就会把颜色、品牌以及适用人群这三个槽值抽取出来填充到对应的槽位，一个是颜色、一个是品牌、一个是适用人群。

有了这三个属性以后，我们可以根据会话管理的状态控制，再询问用户是不是还需要其他的属性。比如说你需要网络支持吗？也有可能我们的属性已经到达了一定的阈值，这个时候可以帮用户搜索满足用户需求的手机。

听音乐的例子也是一样，比如说我这个月想听詹姆斯的爵士乐，最后音乐的风格就是爵士乐，歌手就是詹姆斯，时间就是本月。这个时候我们就可以把用户这段语言中所需要槽位的值抽取出来，采用一些信息抽取方法，填充了缺失的槽位之后就可以帮助用户完成指定的功能或者任务。

这里面涉及到三个具体的子模块，一个是用户分类。比如说用户说了这么一段话，我想买一部红色手机，适用人群是女士，这个时候我们就把它分到用户购物领域，识别到用户的具体意图是购物，而不是听音乐或者问天气。

识别出用户需求领域，我们就要看用户意图，具体是要买手机还是买衣服，还是买瓶装水这些快消品。我们会根据用户表达的 Mobile phone，就知道用户要买 3C 数码产品。接下来我们要做 Slot Filling，比如红色是手机其中的一个属性，女性是手机中的一个适应人群。然后是参数，把对应的槽值填充到缺少的这些槽位上去。

我们都知道商品在商品库里，比如说手机 1 它的颜色是红色，适用人群是女士，手机 2 它的颜色是蓝色，适用人群是男士。我们从这段话中把用户表达出来的意思填充到槽位中，搜索出结果，颜色是红色，适用人群是女士，我们就可以把所有符合的手机检索出来，反馈给用户一个手机列表，也有可能把第一个手机反馈给用户。这个时候向用户询问，你是想要一个还是三个。

接下来重点说一下槽填充模型到底是怎么做的。它的定义是针对某一个具体实体或者某一项具体任务，我们希望能够填充缺失的一些信息，或者是缺失的一些属性。比如这是一个未知的人，我们希望通过问答方式获取用户的一些个人信息。比如说我可以问你叫什么、住哪儿、电话号码以及性别等等，或者您感兴趣的一些东西。

用户可能会通过会话系统说出一些答案，当然那些答案也可能跟你的问题毫不相关，用户可能没有直接回答，也可能用户的回答是错的，我们希望通过线上问答的一些方法，把跟用户相关的属性抽取出来，填充到待填充的槽中。

槽填充模型应用场景非常广泛，一个是刚才我们所说的可以在会话系统中用，通过单轮和多轮交互获取用户信息。另外在商品属性回填中会用到，因为我们都知道自营或联营商家，在给平台上传商品的时候，可能会有一些商品参数或者属性缺失。这个时候我们可能就要从很多竞品的电商平台中，把相应商品抓取到，跟我们待填充的商品做一个配对，配对完之后，就可以把缺失的一些属性或者是一些参数回填回来。

比如说亚马逊上有一个商品属性缺失，但是发现天猫、京东或者苏宁上同一款商品的属性是全面的，这个时候我们会采用槽填充或者信息抽取的模型把商品信息抓过来，完善商品缺失的一些参数或者属性。

还有一个是我们的一些实体画像的完善。比如说在百度百科词条里，刘德华的配偶或者老婆信息是缺失的，我们发现搜狗百科或者其他百科上的词条是有信息的，我们会首先把对应的词条抓过来做槽值映射。因为对方百科网站上属性不一定是用老婆，也可能是用配偶或者其他一些描述，所以这个时候我们要解决统一表达，把对应槽值进行回填。这三类相对来说应用的比较广泛。

槽填充模型的基本方法是有一个基于模板匹配的方法，还有一个是基于模型或者是分类器的方法。模板匹配的方法基本上是一些专家预定的固定模板，比如说我喜欢听某一个人的歌，基本上这样对应模板常用的表达我们就可以把对应歌手抽取出来。另外是基于分类器或者分类模型的方法，可以把它形式化成标注的任务。比如说给我买一张明天从上海到北京的机票，我们可以把具体的每一个词打个具体的标签，把缺失的部分填充到对应的槽当中。

比如说用户的问题是在小镇中心有没有一个比较便宜的餐馆，这个时候我们可以把它形式化成一个序列标注的任务。可以给每一个词打上这样的标签，你也可以做成二元组的方案，有很多种组合，Price 的槽和 Cheap 是正位，每一个槽可以做很多交叉组合，形成标注样本，最后做分类模型。比较广泛采用的是通过用户的一段表达，可以把用户这段表达中我们所需要的一些信息抽取出来，填充到对应的槽中。

智能机器人平台

这是我们基于 Slot Filling 做的智能家居。支持的家电设备有 15 种，我们可以支持大部分家电指令控制，因为很多情况下智能家居的场景我们是希望能够通过语音方式去控制家电设备。比如说把灯打开，帮我打开一下灯，能把灯开开吗？这样一些基于口语化的统一表达其实都是一样的意思，我们希望智能平台能够识别出用户的表达，把相应指令发送到智能家电上去。

这是我们苏宁智能机器人平台人工智能实验室做的家电控制的例子。我们可以控制空调，可以跟它说把空调调成 20 度。我们可以解析成待控制的设备就是空调，具体控制指令和参数就是去控制温度，调成 20 度。

除了智能家居的应用之外我们还做了智能客服。首先看一下智能客服的定义，用机器人辅助的方式去给用户提供一些客服服务，它的应用场景有四大类，第一类是机器人优先，如果客户有问题，首先是机器人去应答，如果机器人解决不了，我们再及时转人工客服。

另外一种情况就是辅助应答，这个时候机器人是不会跟用户去交互的，如果说用户有问题，接待他的都是人工客服，但人工客服会基于机器人的一些答案，直接采用或者不采用。比如说用户想问这个是不是能配货？人工客服可能直接说的话会有很多字，比较麻烦，机器人会给人工客服一个回答的建议，人工客服可以在上面修改，也可以直接采用机器人的答案回复给用户。

另外就是在排队和离线的场景中，因为人工客服可能会回复不过来，这个时候我们可能采用机器人优先接待，不要让用户等待太长时间。这个方案我们也有一个解决办法。

还有个例子是我们给员工平台内部做的基于财务和 IT 人士的客服。当然主要是用户的一些标准问题，还有一些扩展题，以及具体的答案。基于这样一些训练样本，涉及到报销或者财务相应的标签，我们采用的模型是二分类模型。

基本的架构是这边具体的问题，在整个训练集中提炼出相似问和不相似问，经过预处理和特征选择的模型，最后可以选出这样一个模型。当然这个模型还是比较简单的，用的是传统分类模型，基于深度学习的方法目前还在开发中，效果还是不错的。

这是我们智能财务客服的一个例子，是在苏宁内部用的。苏宁内部有一个 IM 豆芽，在上面可以问它一些基本问题。比如差旅费报销有哪些内容，差旅费有哪些，这样的同义表达都可以把差旅费相关的内容反馈给用户。

目前我们支持财务客服、IT 客服和人事客服。这是苏宁的聊天机器人，有基本的闲聊，有一些笑话功能，还有多轮交互的天气功能，单个以及多轮交互的导购功能。

苏宁智能机器人平台采用一个比较流行的框架，人工+智能相结合的混合智能模式。很多时候包括训练数据的一些准备，以及线上回答错误的情况，我们都需要很多在线和离线数据标注的纠正。HI 这部分，人工的参与是必不可少的，其他的部分就是 AI，如果有用户话术，我们首先会做一个意图的理解，还有话术扩充。基本上这部分就是我们的知识库和知识图谱，建立索引以后，这部分是对用户的响应，这部分是用户可能在线或者离线。有可能是专业财务、IT 或者人事客服，也可能是普通标注员，他们会不断帮助我们修正这些知识。这就是我们混合智能的方案。

目前我们已经支持了智能家居机器人、理财机器人，还有一部分是线上弹幕和直播机器人，文创的 PPTV 是苏宁的在线视频网站，用户观看视频的时候可以进入到直播聊天室，上面有一些弹幕并不是人生成的，而是机器人在合适的时间根据合适的内容生成一些高质量的弹幕，这个时候就会产生一些灌水效应。喜欢看弹幕的一些用户会发现今天聊天室或者视频里弹幕比较多，有可能增加他观看时长。

演讲结束后，李伟接受了包括雷锋网在内的媒体采访，以下为采访内容实录：

提问：在电商行业，除了大家比较熟悉的智能推荐之外，人工智能还有哪方面的应用，苏宁目前在这块有没有什么工作计划或者布局？

李伟：除了推荐之外，其实我们还有搜索、个性化以及用户画像和商品画像建模，有很多 AI 方面的技术目前都已经用到了苏宁线上易购以及线下门店，线下的门店目前我们正在部署和调研，还没有大规模的推广。因为苏宁是零售起家的，有很多线下门店，但是有很多门店正在升级改造，很多门店都是传统的设计，并不是特别方便跟 AI 结合，这是苏宁易购。

苏宁除了易购以外，还有文创的 PPTV，还有金融、投资、体育、理财、置业等等六大产业，其实很多地方都可以有很多人工智能应用。比如说我们的人工智能实验室目前在搭建智能机器人平台，也是闲聊陪伴和专业助理功能的，专业助理是帮助用户完成一项具体任务或者一个具体需求，比如智能客服、智能导购等等，目前这些都在跟苏宁的很多业务线结合。

提问：前段时间我们看到苏宁无人店已经开业了，那以苏宁为代表的传统电商，跟阿里这种互联网电商相比，在拥抱人工智能方面有哪些不同？

李伟：苏宁也在转型，而且也转型很长时间了，向互联网转型，之前只做线下的零售、实体店，现在有了线上的易购，慢慢也在扩展到其他的产业。跟 BAT 以技术驱动为主的公司相比，苏宁在技术沉淀方面相对落后，但是董事长越来越重视研发投入，尤其是技术沉淀和积累方面。

我们希望能够跟 BAT 以及其他创业公司合作，我们甚至会投资或者入股，以这样的方式去做一些技术投资，或者自己成立研究院以及苏宁实验室这样的机构和部门，不断的让技术驱动的部门跟业务线紧密结合，下沉到业务，去了解业务的痛点。另一方面也争取自己不断的去积累技术，把这些技术跟业务很好的结合，进一步去推动智慧零售。

提问：苏宁在无人店的布局是怎样的？

李伟：苏宁的确是想做无人店，但是也在找一些合适的方式，因为可能有些商品适合放在无人店里面，有一些区域也适合部署一些无人店，但有一些商品还是适合有人工在里面。不管是结账的时候，还是有一些问题咨询的时候。苏宁在这方面会有布局，也在认真的做一些调研。

苏宁现在处在前期布局和调研阶段，所以不会大规模的布局，会开一些概念店，去看哪种方式更符合用户，也能最大化用户和商户的利益。

提问：现在无人零售店一般有两种技术解决方案，一种是基于 RFID 的，一种是基于计算机视觉的，您更倾向于哪种技术？

李伟：其实这两种技术我还是比较倾向于它们相互结合，因为完全依赖于计算机视觉，或者完全依赖于电子标签的方案，可能都不一定能够达到很好的用户体验。像 Amazon Go 更多的是依赖于 CV，深蓝科技也比较依赖于 CV，实际上计算机视觉如果你不加限制，它很难去解决所有的问题。包括用户身份的认证，用户对于商品拿放动作的识别，还有体态识别，还有用户进店之后所有行为的跟踪等等，这些都是很大的技术难点。

短期之内如果技术没有一个特别大的突破，可能很难完全依赖于 CV，应用到无人店里面去。

电子标签技术上非常成熟，如果非要用 RFID 和 CV 去做无人店，最好是两者结合这样比较好。因为有的时候可能可以用计算机视觉做一些很好的识别，如果计算机视觉做的不好的我们可以用 RFID，两者的结合是很好的方案。

提问：无人零售有的说是风口，有的说是资本过剩。关于亚马逊的无人零售，阿里说亚马逊的无人零售就是一个 PR，您怎么看？

李伟： Amazon Go 我没有亲身体验，他们目前好像只是面向内部员工，扫码之后可以进去拿货，出来之后可以直接结账，没有人工收款这样一个流程。其实苏宁目前也在做一些无人店方面的事情，包括在徐庄总部已经开了一家无人店。苏宁因为是做零售实体店起家的，还是非常注重无人店的想法，包括缤果盒子等等，也在向无人店技术驱动的公司做一些调研，我们也有参与过，有一些完全基于计算机视觉的公司，去了以后你发现有很多场景确实是没有办法把用户的体验做的很好，而且也存在安全和卫生的问题。

比如说他可以接触到食物，在某种特定场景下拿的动作不要太快，慢一点，配合 CV 的技术是可以识别出来的。很多人是多次拿放，另外一个人想要购买的话他会不会去买，因为毕竟有安全和卫生的问题。

提问：目前阿里和京东他们都在跟一些社区的小超市，甚至农村的超市合作，京东说要做百万便利店，苏宁在这一块有没有布局？

李伟：其实现在苏宁除了卖传统的电器和家电的易购店以外，也在布局苏宁小店，类似于 7-11，除了苏宁小店以外还有苏宁超市，大部分都是在江苏和上海一带，在北京还没有加盟店，至少还没有落地。这些已经跟苏宁传统的实体店在概念上和服务模式上有很大差别，不光是卖电器，但是苏宁传统的易购的实体店也在升级，升级成苏宁云店。

苏宁线下店面的布局目前相对来说比较多样化了，而且已经不再走传统家电模式，虽然给人的印象是卖传统家电起家的，但是已经在逐渐向多元化发展，也是为了更好的满足用户体验。

 推荐系统算法工程师-从入门到就业  

3个月，从无人问津到年薪30万的秘密究竟是什么？答案在这里——崔立明授课【推荐系统算法工程师-从入门到就业】3个月算法水平得到快速提升，让你的职业生涯更有竞争力！长按识别下方二维码（或阅读原文戳开链接）抵达课程详细介绍~