自然语言处理在人机对话中的应用

牛人大讲堂是京东大学演播室推出的业务沉淀、创新实践分享栏目。栏目围绕产品创新、业务创新、技术创新，邀请公司内部牛人进行深度分享，以视频录播的形式，推广业务、产品及技术。NLP的算法工程师马勉就受邀参加了此节目的录制，分享了自然语言处理在人机对话中的应用，让我们来一睹勉姐的风采吧！

//////////////////////

近日，京东发布登月机器学习平台，并在京东云上线，正式对外提供人工智能服务。

得益于京东丰富的业务场景，人工智能的应用在京东已经渗透到了各个业务环节，包括供应链、物流、营销、金融等方面，京东已经成为人工智能技术最积极的实践者和推动者。为此，我们邀请到京东AI与大数据部的AI牛人进行了系列专访。

马勉所在的NLP研发部着力研究人与计算机之间用自然语言进行有效交流的各种理论和方法，并应用于京东人机交互的产品中，目前支持包括叮咚音箱语音购物、京东手机APP中购物助手小咚在内多款产品的自然语言处理功能。

马勉（AI与大数据部NLP研发部）

NLP研发部算法工程师，2014年加入京东，曾致力于提升京东商城搜索排序的质量，目前主要从事人机对话中NLP相关的算法研究。

自然语言处理在人机对话中的应用

京东大学演播室《牛人大讲堂》

AI牛人专访

NLP背景介绍

Q：自然语言处理主要包含几大重要的部分

马勉：自然语言处理，即指计算机识别、理解、计算（或分析）、生成自然语言的过程。自然语言处理主要包含以下的几个部分, 其中最基础的就是句法语义分析、信息抽取、文本挖掘和机器翻译。

Q：通俗地讲，人机对话是？

马勉：人机对话是人工智能的一个子方向，通俗的讲就是让人可以通过人类的语言与计算机进行交互。一个完整的人机对话系统涉及的技术极为广泛，例如语音技术，自然语言处理，机器学习，规划与推理，知识工程等等。其中，自然语言处理是最为核心的一部分，也是我们目前主要投入的一部分。

人机对话场景介绍

Q：人机对话都有哪些场景？

马勉：人机对话的场景主要有以下这么几种：一是开放域的聊天，就是不限话题的聊天，例如我们问“你有女朋友吗？”，机器人回答说：“人家还小，还不想找对象呢！”。第二种人机对话的场景是任务驱动的多轮会话，用户带着明确的目的而来，希望得到满足特定限制条件的信息或服务，例如：订餐，订票，查询天气，寻找音乐、电影或某种商品等等。第三种场景是问答，更侧重于一问一答，即直接根据用户的问题给出精准的答案。问答更接近一个信息检索的过程。第四种推荐，即根据当前的用户 query 和历史的用户画像主动推荐用户可能感兴趣的信息或者服务。

Q：这几种场景有什么区别？

马勉：开放域聊天在现有的人机对话系统中，主要起到拉近距离，建立信任关系，情感陪伴，顺滑对话过程（例如在任务类对话无法满足用户需求时）和提高用户粘性的作用。任务驱动的多轮对话不是一个简单的自然语言理解加信息检索的过程，而是一个决策过程，需要机器在对话过程中不断根据当前的状态决策下一步应该采取的最优动作。

例如用户说“我想买个手机”，市面上的手机种类繁多，用户可能也不知道他自己想要哪一款，这种情况我们一般会提示用户“您想要什么品牌的手机”，或者“您想要什么价位的手机”，不断的通过多轮的提示交互来帮助用户达到自己的目的。问答呢，更侧重于一问一答，更接近信息检索的过程。推荐呢，即根据当前的用户query 和历史的用户画像主动推荐用户可能感兴趣的信息或者服务。

NLP在人机对话系统中的应用

Q：在我们目前的人机对话系统中的NLP技术是如何落地的？

马勉：举其中的一个例子吧，基于模型的分类算法，这种方式则需要大量的训练数据，对新类别的支持较慢但分类效果较好。意图细分必须配合槽位的提取以做出合理响应，例如用户询问“北京明天的空气怎么样”，当我们能够定位到这是天气查询中的空气质量查询细分意图以后，我们也需要提取出对应的地点：北京，时间：明天，以方便调用相应服务生成对应的答案，在这个例子中，“北京”和“明天”分别对应两种槽位的槽位值。槽位提取也是一个序列标注的问题，我们尝试过传统CRF的序列标注算法以及基于RNN+CRF的序列标注算法，均达到了不错的效果。

Q：有没有遇到一些挑战？

马勉：项目中最大的挑战便是缺乏语料。每一个新功能在上线前，都是没有真实语料的，而训练模型特别是基于深度神经网络的模型往往需要大规模的语料数据、语料如何收集，这是一个很大的难题。目前我们也采取了一些有效的方法来解决。

Q：后续的计划是？

马勉：有几个大方向是我们的重点。1. 支持更多更广的领域性服务，例如翻译功能，儿童教育功能等等，让我们系统中的垂搜服务更全面、更广泛。2. 让更多的功能实时化、服务化。我们希望能实时快速的支持一些细分领域的新功能，因此会设计并开发一个基于实时的半自动更新的系统框架。3. 更灵活更深入的支持多轮会话场景。4. 优化目前的闲聊功能，让回答种类更丰富，更富有感情色彩，以使得用户能有更多的沉浸感。

学习方式

TV

内部员工打开京TV，v.jd.com

搜索牛人大讲堂，进入专题栏目

即可观看学习

京英

内部员工登陆京英学习平台，jdu.jd.com

最新在线课程，或搜索“牛人大讲堂”

即可观看学习

精彩提前看，视频长度1min,请在wifi环境下打开

JD.COM

AI与大数据

京东AI与大数据团队专注于人工智能及海量数据处理技术的研发及应用，为京东集团丰富的业务场景提供机器学习平台、人脸识别、图像识别、图像比对搜索、多媒体内容分析、自然语言处理等多方面技术支持，并通过自主设计研发的企业级数据仓库支撑京东全业务数据分析与应用体系。

■ 业务合作可联系jd_aibdp@jd.com

视觉 | 王小草

采访 | 叶小胖  潘美丽