干货 | 大规模知识图谱的构建、推理及应用

作者简介

 

李健，携程度假研发部研发总监，2013年底加入携程，在数据挖掘分析、人工智能方面有一定的实践与积累。

 

随着大数据的应用越来越广泛，人工智能也终于在几番沉浮后再次焕发出了活力。除了理论基础层面的发展以外，本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来的前所未有的数据红利。

人工智能的进展突出体现在以知识图谱为代表的知识工程以及以深度学习为代表的机器学习等相关领域。

未来伴随着深度学习对于大数据的红利消耗殆尽，如果基础理论方面没有新的突破，深度学习模型效果的天花板将日益迫近。而另一方面，大量知识图谱不断涌现，这些蕴含人类大量先验知识的宝库却尚未被深度学习有效利用。

融合知识图谱与深度学习，已然成为进一步提升深度学习效果的重要思路之一。以知识图谱为代表的符号主义，和以深度学习为代表的联结主义，日益脱离原先各自独立发展的轨道，走上协同并进的新道路。

 

 

一、大规模知识图谱的构建

知识图谱自上世纪60年代从语义网络发展起来以后，分别经历了1980年代的专家系统、1990年代的贝叶斯网络、2000年代的OWL和语义WEB，以及2010年以后的谷歌的知识图谱。谷歌目前的知识图谱已经包含了数亿个条目，并广泛应用于搜索、推荐等领域。

知识图谱的存储和查询语言也经历了历史的洗涤，从RDF到OWL以及SPARQL查询，都逐渐因为使用上的不便及高昂的成本，而被工业界主流所遗弃。图数据库逐步成为目前主要的知识图谱存储方式。

目前应用比较广泛的图数据库包括Neo4J、graphsql、sparkgraphx（包含图计算引擎）、基于hbase的Titan、BlazeGraph等，各家的存储语言和查询语言也不尽相同。实际应用场景下，OrientDB和postgresql也有很多的应用，主要原因是其相对低廉的实现成本和性能优势。

由于大规模知识图谱的构建往往会有众多的实体和关系需要从原始数据（可以是结构化也可以是非结构化）中被抽取出来，并以图的方式进行结构化存储，而我们依赖的原始数据往往存在于多源异构的环境中，所以进行海量知识抽取和融合，就成了首要的无法回避的严峻问题。

对于结构化的数据转换为图结构是比较容易和相对轻松的工程，所以建议这一步应该首先被完成。

对于复杂的非结构化数据，现阶段进行知识图谱构建的主要方法有传统NLP和基于深度学习模型两类方法，而目前越来越多倾向于使用深度学习来抽取AVP（属性-值对）。

有很多深度学习模型可以用来完成端到端的包括命名实体识别NER、关系抽取和关系补全等任务，从而构建和丰富知识图谱。

转自：携程技术中心