无从下手落地问答系统?实用百度开源框架了解一下

2018 年 7 月 26 日 专知

【导读】智能问答系统,近两年被炒得热火朝天。然而,刨除花式 PPT以及论文里的各种黑科技,我们最想知道的其实是:这东西到底怎么落地?近日,百度开源了他们的主要面向 FAQ集合的问答系统框架AnyQ(ANswer Your Questions)。该框架结构清晰,设计明朗,可以为问答系统落地,提供一种解决思路。


作者 | 百度 

地址 | https://github.com/baidu/AnyQ

编辑 | huaiwen


摘要

AnyQ是 ANswer Your Questions 的缩写,直指问答系统的核心业务:回答你的问题。 实际上,该项目包含面向FAQ集合的问答系统框架AnyQ 以及文本语义匹配工具SimNet。


AnyQ 采用了配置化、插件化的设计,各功能均通过插件形式加入,当前共开放了20+种插件。开发者可以使用AnyQ系统快速构建和定制适用于特定业务场景的FAQ问答系统,并加速迭代和升级。

SimNet是百度自然语言处理部于2013年自主研发的语义匹配框架,该框架在百度各产品上广泛应用,主要包括BOW、CNN、RNN、MM-DNN等核心网络结构形式,同时基于该框架也集成了学术界主流的语义匹配模型,如MatchPyramid、MV-LSTM、K-NRM等模型。SimNet使用PaddleFluid和Tensorflow实现,可方便实现模型扩展。使用SimNet构建出的模型可以便捷的加入AnyQ系统中,增强AnyQ系统的语义匹配能力


AnyQ 框架

AnyQ系统框架主要由Question Analysis、Retrieval、Matching、Re-Rank等部分组成,框架中包含的功能均通过插件形式加入,如Analysis中的中文切词,Retrieval中的倒排索引、语义索引,Matching中的Jaccard特征、SimNet语义匹配特征,当前共开放了20+种插件。AnyQ系统的配置化、插件化设计有助于开发者快速构建、快速定制适用于特定业务场景的FAQ问答系统,加速迭代和升级。 AnyQ的框架结构如下图:


配置化

AnyQ系统集成了检索和匹配的众多插件,通过配置的方式生效;以检索方式和文本匹配相似度计算中的插件为例:

  • 检索方式(Retrieval)

    • 倒排索引:基于开源倒排索引Solr,加入百度开源分词

    • 语义检索:基于SimNet语义表示,使用ANNOY进行ANN检索

    • 人工干预:通过提供精准答案,控制输出

  • 匹配计算(Matching)

    • SimNet语义匹配:使用语义匹配SimNet架构训练的模型,构建问题在语义层面的相似度

    • Cosine相似度

    • Jaccard相似度

    • BM25

    • 字面匹配相似度:在对中文问题进行切词等处理之后,计算字面匹配特征

    • 语义匹配相似度


插件化

除框架外,AnyQ的所有功能都是通过插件形式加入,用户自定义的插件很容易加到AnyQ系统中,只需实现对应的接口即可,如自定义词典加载、Question分析方法、检索方式、匹配相似度、排序方式等,真正实现可定制和插件化。


文本语义匹配框架SimNet

SimNet是百度自然语言处理部于2013年自主研发的语义匹配框架,该框架在百度各产品上广泛应用,主要包括BOW、CNN、RNN、MM-DNN等核心网络结构形式,同时基于该框架也集成了学术界主流的语义匹配模型,如MatchPyramid、MV-LSTM、K-NRM等模型。SimNet使用PaddleFluid和Tensorflow实现,可方便实现模型扩展。使用SimNet构建出的模型可以便捷的加入AnyQ系统中,增强AnyQ系统的语义匹配能力。

按照文本语义匹配网络结构, 可将SimNet中实现的网络模型主要分为如下两类:

  • Representation-based Models 
    如:BOW, CNN, RNN(LSTM, GRNN) 
    特点:文本匹配任务的两端输入,分别进行表示,之后将表示进行融合计算相似度;

  • Interaction-based Models 
    如:MatchPyramid, MV-LSTM, K-NRM, MM-DNN 
    特点:在得到文本word级别的序列表示之后,根据两个序列表示计算相似度匹配矩阵,融合每个位置上的匹配信息给出最终相似度打分;

SimNet使用PaddleFluid和Tensorflow实现,更多详情访问该开源项目

基于海量搜索数据的语义模型

基于百度海量搜索数据,官方训练了一个SimNet-BOW语义匹配模型,在一些真实的FAQ问答场景中,该模型效果比基于字面的相似度方法AUC提升5%以上。

项目地址

https://github.com/baidu/AnyQ

-END-

专 · 知


人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!


请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~


请关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

登录查看更多
9

相关内容

自动问答(Question Answering, QA)是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。不同于现有搜索引擎,问答系统是信息服务的一种高级形式,系统返回用户的不再是基于关键词匹配排序的文档列表,而是精准的自然语言答案。近年来,随着人工智能的飞速发展,自动问答已经成为倍受关注且发展前景广泛的研究方向。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
FPGA加速系统开发工具设计:综述与实践
专知会员服务
65+阅读 · 2020年6月24日
专知会员服务
80+阅读 · 2020年6月20日
模型优化基础,Sayak Paul,67页ppt
专知会员服务
75+阅读 · 2020年6月8日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
大数据安全技术研究进展
专知会员服务
92+阅读 · 2020年5月2日
【书籍】深度学习框架:PyTorch入门与实践(附代码)
专知会员服务
163+阅读 · 2019年10月28日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
39+阅读 · 2019年10月9日
知识图谱本体结构构建论文合集
专知会员服务
106+阅读 · 2019年10月9日
医疗知识图谱构建与应用
专知会员服务
383+阅读 · 2019年9月25日
知识图谱火了,还不快来Pick一下?
51CTO博客
8+阅读 · 2018年12月13日
近期值得关注的8款AI开源项目 | 本周Github精选
PaperWeekly
4+阅读 · 2018年8月3日
深度文本匹配开源工具(MatchZoo)
中国科学院网络数据重点实验室
7+阅读 · 2017年12月5日
手把手丨用TensorFlow开发问答系统
大数据文摘
21+阅读 · 2017年11月29日
用TensorFlow开发问答系统
机器学习研究会
7+阅读 · 2017年11月27日
你不得不看的六篇知识图谱落地好文
AI前线
29+阅读 · 2017年11月19日
论文动态 | 基于知识图谱的问答系统关键技术研究 #01
开放知识图谱
16+阅读 · 2017年8月3日
Arxiv
4+阅读 · 2019年9月5日
Arxiv
8+阅读 · 2019年3月28日
Knowledge Based Machine Reading Comprehension
Arxiv
4+阅读 · 2018年9月12日
Bidirectional Attention for SQL Generation
Arxiv
4+阅读 · 2018年6月21日
Arxiv
8+阅读 · 2018年1月30日
VIP会员
相关VIP内容
FPGA加速系统开发工具设计:综述与实践
专知会员服务
65+阅读 · 2020年6月24日
专知会员服务
80+阅读 · 2020年6月20日
模型优化基础,Sayak Paul,67页ppt
专知会员服务
75+阅读 · 2020年6月8日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
大数据安全技术研究进展
专知会员服务
92+阅读 · 2020年5月2日
【书籍】深度学习框架:PyTorch入门与实践(附代码)
专知会员服务
163+阅读 · 2019年10月28日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
39+阅读 · 2019年10月9日
知识图谱本体结构构建论文合集
专知会员服务
106+阅读 · 2019年10月9日
医疗知识图谱构建与应用
专知会员服务
383+阅读 · 2019年9月25日
相关资讯
知识图谱火了,还不快来Pick一下?
51CTO博客
8+阅读 · 2018年12月13日
近期值得关注的8款AI开源项目 | 本周Github精选
PaperWeekly
4+阅读 · 2018年8月3日
深度文本匹配开源工具(MatchZoo)
中国科学院网络数据重点实验室
7+阅读 · 2017年12月5日
手把手丨用TensorFlow开发问答系统
大数据文摘
21+阅读 · 2017年11月29日
用TensorFlow开发问答系统
机器学习研究会
7+阅读 · 2017年11月27日
你不得不看的六篇知识图谱落地好文
AI前线
29+阅读 · 2017年11月19日
论文动态 | 基于知识图谱的问答系统关键技术研究 #01
开放知识图谱
16+阅读 · 2017年8月3日
Top
微信扫码咨询专知VIP会员