【知识图谱】 一个有效的知识图谱是如何构建的?

2018 年 4 月 5 日 产业智能官

知识图谱以其强大的语义处理能力和开放组织能力,为互联网时代的知识化组织和智能应用奠定了基础,其应用趋势也从通用领域走向行业领域。许多行业为了应对大数据应用的不同挑战,借助知识图谱,实现不同的业务需求,实现了通用和行业应用“百花齐放”的局面。


本期笔者采访了易建科技智慧城市事业部知识工程团队经理、知识图谱技术研究人员鲍立飞,详细阐述了易建如何深度开发基于本体的行业知识图谱构建技术及应用。


如何构建一个有效的知识图谱?


知识图谱构建主要有自顶向下(Top-Down)和自底向上(Bottom-Up)两种方法。所谓自顶向下的方法是指首先为知识图谱定义数据模式,在定义本体的过程中,首先从最顶层的概念开始,然后逐步进行细化,形成结构良好的分类学层次结构;在定义好数据模式后,再把实体一个个往概念中添加。自底向上的方法则刚好相反,首先从实体开始,对实体进行归纳组织,形成底层的概念,然后逐步往上抽象,形成上层的概念。


两种方法在具体的构建过程中通常都不是从零开始的,前者可以利用一些现有的结构化的知识库,而后者则可以从开放链接数据或在线百科中得到很多实体。在领域本体实际构建过程中,易建则采用了自顶向下和自底向上相结合的方法。


知识图谱的构建过程包括本体建模、知识抽取、知识融合、知识存储、知识推理这几个步骤。

1
本体建模


就鲍立飞而言,构建本体的目的是识别、描述和表示相关领域的知识,提供对该领域知识的共同理解,确定领域内共同认可的对象模型,并从不同层次的形式化模式上给出了这些对象和对象间相互关系的明确定义。本体描述了知识图谱的概念模式,同时知识图谱在本体的基础上进行了丰富和扩充,而知识图谱则是在本体的基础上,增加了更加丰富的关于实体的信息。


在行业知识图谱构建的过程中,需要先构建本体模型,本体模型是为了对整个行业特定的知识图谱所需的数据模型进行定义,因此需要保证可靠性。在本体模型中我们需要构建本体的概念,属性以及概念之间的关系。

在构建行业知识图谱的本体模型时,通常需要借助领域专家知识来引导构建本体模型,才能保证知识图谱的质量,之后的知识计算,知识推理才能更好的发挥作用。


2
 知识抽取


知识抽取是从不同来源、不同结构的数据中进行信息提取,形成知识存入知识图谱中。知识抽取处理的对象按照结构化程度可以分为结构化、半结构化和非结构化信息。


结构化文档具有良好的布局结构,可以很容易地对其执行知识抽取。结构化文档主要存储在业务数据库,可以通过ETL从结构化信息中提取知识。


在处理半结构化数据方面,主要的工作是通过编写包装器,从半结构化数据中提取实体属性,适用在百科类站点、垂直网站中进行包装器归纳,从网页表格中提取属性信息。


非结构化文档是指由符合某种语言表达规范的自然语言语句组成的文档,这类文档表达方式灵活,可以用不同的形式和词汇表达相同的意思,因此对这类文档进行知识抽取是非常困难的,往往要借助自然语言处理技术对其进行语法和语义分析。


3
 知识抽取


知识图谱最适合处理关联密集型的数据,解决的是实体及实体之间的关系,即具有有向图结构的一个知识库,因此适合以图的数据结构存储,其存储方式主要有RDF 和图数据库两种方式。


在具体的知识图谱工程中,为了满足不同的业务需求,比如统计型、复杂关系型等,往往采用复合的存储模式,如下:


实践经验如下:


  • 文本型数据:使用NoSQL数据库存储。

  • 关系型数据:使用图形数据存储,包括实体、关系、属性。

  • 关联型数据:作为记录型数据存入合适的存储中(尽量不入图存储),通过实体链接与图谱中实体关联。

  • 时序型数据:一般作为事件来补充知识图谱,可存在图数据库或者文档数据库中,如果是海量数据并作为实时分析,采用特定时序数据库存储。

  • 统计型数据:使用SQL数据库存储。


4
 知识融合


知识融合指的是将多个数据源抽取的知识进行融合后集成到知识图谱中。在进行知识融合时,需要解决多种类型的数据冲突问题,包括一个短语对应多个实体、实体属性名不一致、实体属性缺失、实体属性值不一致、实体属性值一对多映射等情况。知识融合阶段主要对数据进行本体对齐和实体匹配。


本体对齐更强调概念层的融合,主要工作有概念的合并,概念上下位关系合并,概念的属性定义合并。而实体匹配更强调数据层的融合,主要工作又有实体链接,数据融合,冲突检测与解决。


由于我们在构建过程中采用的自顶向下和自底向上结合的方式,因此基本都经过人工的校验,保证了概念层的可靠性;因此,知识融合的关键任务在数据层的融合。


数据层融合即实体匹配也叫实体对齐,其目的在于发现具有不同标识却代表真实世界中同一对象的那些实体,并将这些实体归并为一个具有全局唯一标识的实体对象,然后添加到知识图谱中。


5
知识抽取


知识推理是通过各种方式获取新的知识或结论,这些知识和结论满足语义。主要分为本体推理和规则推理。


基于本体的推理,本体推理主要是通过预定义的本体公理上进行推理,例如本体中定义的subclass,subproperty,domain,range,funtional等一些公理进行推理。但是无法自定义一些推理规则。


基于规则的推理,规则推理可以根据特定的场景定制规则,以实现自定义的推理过程,推理属性规则比如知道某人出生年月,可以计算出其年龄。推理关系规则,定义父亲的父亲是爷爷,已知A是B的父亲,B是C的父亲,则可以推出A是C的爷爷。


将数据转化成更有价值的资源


发展的需要和现实的痛点,往往会催生一项技术的发展。综观当前国内旅游业发展,‘量体裁衣’式的旅游定制受到了越来越多人的喜爱,旅游消费移动化、便捷化正成为新动向。更加智慧的旅游让传统旅游企业趋之若鹜,但由于技术的挑战,又使得这些企业在转型过程中一度犯难。知识图谱的关联价值此时正好得到了用武之地。


洞察这一趋势后,鲍立飞团队着手开始知识图谱在旅游行业的应用探索。知识图谱和旅游行业“结亲”的一个重要因素,还来源于易建所处的海南这个极具区位特色、资源禀赋的旅游胜地。近两年,海南通过全域旅游统筹推进旅游供给侧结构性改革,基本形成了全域旅游发展新格局。旅游信息化的智能处理,使得海南旅游业的内生动力得到了有效激发。知识图谱能够高度还原真实世界,做到“万物互联”,并对结构化和非结构化的数据进行智能地治理和整合,能够让海量的旅游数据为其所用,这对全域旅游的发展来说是个利好消息。


“利用知识图谱最重要的是让机器读懂世界,理解人的语言。”鲍立飞说,相较于传统的关系型数据库,易建构建的智慧旅游智能问答系统更侧重于大数据分析、挖掘技术与AI技术的强强联手,能够深度理解人类的语言和支持推理,通过实时呈现出更多有价值的信息,让旅游体验更加舒适化、便捷化。这一切都离开不开其强大的后台运转:智慧旅游知识图谱体系将游、购、娱、吃、住、行等六个要素的海量数据建立起关系网,并将多数据源进行打通关联,从而整合成为机器可以理解的结构化数据,再通过智慧旅游智能问答系统的旅游聊天机器人服务于游客的全旅程。只要建立的旅游知识图谱足够大,机器人就可以回答各种各类的旅游问题;同时在与游客聊天和交流过程中,机器人也可以不断的学习新知识,及时补充新信息。既能为管理部门提供了先进的管理手段,又为游客提供了游前、游中、游后一体化的智能体验服务,这个会思考的“旅游达人”出现后,受到了旅游业内人士的高度关注。

易建智慧旅游智能问答系统

由于知识图谱的应用,也解决了反欺诈中的数据整合并构建反欺诈引擎,从而有效地识别出欺诈案件(如身份造假,团体欺诈,代办包装等)等问题,这使得它在风险防控工作中也有很好的“口碑”。鲍立飞指出,通过知识图谱复杂网络计算,可以找出网络中相关子图,检测出异常案件,帮助保险公司对可疑案件进行有效的问题排查及跟踪,规避理赔资金风险,提升打假效率。

易建研发的车险业务知识图谱 

知识图谱技术的发展,决定了它极强的互联网数据属性和搜索的目的性。鲍立飞表示,这就要求行业领域在应用知识图谱时,要从行业自身的数据特点和业务目标出发去研究和落地。而这正好是易建未来所关注的重点,利用所拥有的数据,转化成更有价值的资源,为行业的发展提供更便利的管理手段。


本文来源:易建科技eKingTech

人工智能赛博物理操作系统

AI-CPS OS

人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。


AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。


领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:

  1. 重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

  2. 重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

  3. 重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?

AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:

  1. 精细种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

  2. 智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。

  3. 高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

  4. 不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

  5. 边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:

  1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

  2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率

  3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间


给决策制定者和商业领袖的建议:

  1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

  2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

    评估未来的知识和技能类型;

  3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

    发过程中确定更加明晰的标准和最佳实践;

  4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

    较高失业风险的人群;

  5. 开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


子曰:“君子和而不同,小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。



产业智能官  AI-CPS


用“人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能)在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链


长按上方二维码关注微信公众号: AI-CPS,更多信息回复:


新技术“云计算”、“大数据”、“物联网”、“区块链”、“人工智能新产业:智能制造”、智能金融”、“智能零售”、“智能驾驶”、智能城市新模式:“财富空间“工业互联网”、“数据科学家”、“赛博物理系统CPS”、“供应链金融”


官方网站:AI-CPS.NET


本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!



版权声明产业智能官(公众号ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:erp_vip@hotmail.com




登录查看更多
56

相关内容

在计算机科学与信息科学领域,理论上, 本体是指一种“形式化的,对于共享概念体系的明确而又详细的说明,是对特定 领域之中某套 概念及其相互之间 关系的形式化表达
COVID-19文献知识图谱构建,UIUC-哥伦比亚大学
专知会员服务
41+阅读 · 2020年7月2日
2020年中国《知识图谱》行业研究报告,45页ppt
专知会员服务
233+阅读 · 2020年4月18日
知识图谱融合方法,140页ppt,南京大学胡伟老师
专知会员服务
137+阅读 · 2020年2月19日
KGCN:使用TensorFlow进行知识图谱的机器学习
专知会员服务
80+阅读 · 2020年1月13日
中文知识图谱构建技术以及应用的综述
专知会员服务
308+阅读 · 2019年10月19日
知识图谱本体结构构建论文合集
专知会员服务
101+阅读 · 2019年10月9日
医疗知识图谱构建与应用
专知会员服务
372+阅读 · 2019年9月25日
知识图谱的自动构建
DataFunTalk
55+阅读 · 2019年12月9日
本体:一文读懂领域本体构建
AINLP
37+阅读 · 2019年2月27日
如何从零开始搭建知识图谱?
AI前线
23+阅读 · 2018年7月2日
【知识图谱】中医临床知识图谱的构建与应用
产业智能官
59+阅读 · 2017年12月18日
【知识图谱】医学知识图谱构建技术与研究进展
产业智能官
44+阅读 · 2017年11月16日
【知识图谱】中文知识图谱构建方法研究
产业智能官
98+阅读 · 2017年10月26日
领域应用 | CCKS-2017 行业知识图谱构建与应用-下篇
开放知识图谱
12+阅读 · 2017年9月21日
【知识图谱】如何构建知识图谱
产业智能官
134+阅读 · 2017年9月19日
【知识图谱】CCKS-2017 行业知识图谱构建与应用-下篇
Arxiv
29+阅读 · 2020年3月16日
Arxiv
99+阅读 · 2020年3月4日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Arxiv
23+阅读 · 2018年10月24日
VIP会员
相关VIP内容
COVID-19文献知识图谱构建,UIUC-哥伦比亚大学
专知会员服务
41+阅读 · 2020年7月2日
2020年中国《知识图谱》行业研究报告,45页ppt
专知会员服务
233+阅读 · 2020年4月18日
知识图谱融合方法,140页ppt,南京大学胡伟老师
专知会员服务
137+阅读 · 2020年2月19日
KGCN:使用TensorFlow进行知识图谱的机器学习
专知会员服务
80+阅读 · 2020年1月13日
中文知识图谱构建技术以及应用的综述
专知会员服务
308+阅读 · 2019年10月19日
知识图谱本体结构构建论文合集
专知会员服务
101+阅读 · 2019年10月9日
医疗知识图谱构建与应用
专知会员服务
372+阅读 · 2019年9月25日
相关资讯
知识图谱的自动构建
DataFunTalk
55+阅读 · 2019年12月9日
本体:一文读懂领域本体构建
AINLP
37+阅读 · 2019年2月27日
如何从零开始搭建知识图谱?
AI前线
23+阅读 · 2018年7月2日
【知识图谱】中医临床知识图谱的构建与应用
产业智能官
59+阅读 · 2017年12月18日
【知识图谱】医学知识图谱构建技术与研究进展
产业智能官
44+阅读 · 2017年11月16日
【知识图谱】中文知识图谱构建方法研究
产业智能官
98+阅读 · 2017年10月26日
领域应用 | CCKS-2017 行业知识图谱构建与应用-下篇
开放知识图谱
12+阅读 · 2017年9月21日
【知识图谱】如何构建知识图谱
产业智能官
134+阅读 · 2017年9月19日
【知识图谱】CCKS-2017 行业知识图谱构建与应用-下篇
相关论文
Top
微信扫码咨询专知VIP会员