【导读】如何利用知识进行推进完成一些列下游任务?斯坦福大学Jure Leskovec最近在NAACL2021给了《Reasoning with Language and Knowledge Graphs》的讲座,重点讲述关于如何联合语言模型和知识图谱进行推理,完成问答等复杂任务。

使用来自预训练语言模型(LMs)和知识图谱(KG)的知识来回答问题提出了两个挑战: 给定一个QA上下文(问题和答案选择),方法需要 (i) 从大型KG中识别相关知识,以及(ii)对QA上下文和KG进行联合推理。在这里,我们提出了一个新的模型,QA-GNN,它通过两个关键的创新来解决上述挑战: (i)相关性评分,我们使用语言模型来估计KG节点相对于给定的QA上下文的重要性,以及 (ii)联合推理,我们将QA上下文和KG连接起来形成一个联合图,并通过基于图的消息传递相互更新它们的表示。我们在CommonsenseQA和OpenBookQA数据集上评估了QA-GNN,并展示了它比现有的LM和LM+KG模型的改进,以及它执行可解释和结构化推理的能力,例如,正确处理问题中的否定。

https://www.zhuanzhi.ai/paper/ffbf2e36057b06828f277cf665ee01de

Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs Hongyu Ren, Jure Leskovec

https://www.zhuanzhi.ai/paper/cc45df932200d650155b91147b366bba

人工智能的基本问题之一是对知识图(KG)捕获的事实执行复杂的多跳逻辑推理。这个问题具有挑战性,因为KG可能庞大且不完整。最近的方法将KG实体嵌入到低维空间中,然后使用这些嵌入来找到答案实体。但是,由于当前方法仅限于一阶逻辑(FOL)运算符的子集,因此处理任意的FOL查询仍然是一个挑战。特别是,不支持取反运算符。当前方法的另一个局限性在于它们不能自然地对不确定性建模。在这里,我们介绍BETAE,这是一个概率嵌入框架,用于回答KG上的任意FOL查询。BETAE是第一个可以处理完整的一组一阶逻辑运算的方法,包括:合取(∧),析取(∨)和取反(¬)。BETAE的一个关键见解是在有限支持下使用概率分布,特别是Beta分布,并将查询/实体作为分布嵌入,这使我们也能够忠实地对不确定性进行建模。逻辑操作是由神经运算符在概率嵌入中执行的。BETAE在回答三个大型、不完整的KG上的任意FOL查询时达到了最先进的性能。

成为VIP会员查看完整内容
0
37

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

逻辑查询是知识图谱问答系统中一个重要的问题子集。然而,有效地回答大型知识图谱上的逻辑查询仍然是一个极具挑战性的问题。传统的基于子图匹配的方法存在底层知识图谱的噪声和不完整性等问题,线响应时间长。近年来出现了一种新的方法,其核心思想是将知识图谱实体和查询嵌入到一个向量空间中,使答案实体的嵌入与查询实体的嵌入更加接近。与基于子图匹配的方法相比,该方法能更好地处理知识图谱中的噪声或缺失信息,在线响应速度更快。虽然它可能很有前途,但仍然存在一些基本的限制,包括建模关系的线性转换假设,以及无法回答具有多个可变节点的复杂查询。在本文中,我们提出了一种基于嵌入的方法(NewLook)来解决这些限制。我们提出的方法有三个主要优点。首先(适用性),它支持四种类型的逻辑操作,并且可以使用多个变量节点回答查询。第二(有效性),提出的NewLook超越了线性变换的假设,因此始终优于现有的方法。第三(效率),与基于子图匹配的方法相比,NewLook在回答查询方面至少快3倍;与现有的基于嵌入的方法相比,NewLook在线响应时间和离线训练时间相当甚至更快。

http://tonghanghang.org/pdfs/kdd21_newlook.pdf

成为VIP会员查看完整内容
0
17

这本书将理论计算机科学和机器学习连接起来,探索双方可以相互教授什么。它强调需要灵活、易于处理的模型,以便更好地捕捉机器学习的难点,而不是难点。

理论计算机科学家将介绍机器学习的重要模型和该领域的主要问题。机器学习研究人员将以一种可访问的格式介绍前沿研究,并熟悉现代算法工具包,包括矩的方法,张量分解和凸规划松弛。

此外是建立对实践中使用的方法的严格理解,并促进发现令人兴奋的新方法来解决重要的长期问题。

现代机器学习系统通常建立在没有可证明的保证的算法之上,它们何时以及为何有效是一个争论的主题。在这门课中,我们将重点设计算法,让我们可以严格分析其性能,以解决基本的机器学习问题。我们将涵盖的主题包括:非负矩阵分解、张量分解、稀疏编码、学习混合模型、图模型中的矩阵补全和推理。几乎所有这些糟糕的计算困难的问题, 所以开发一个算法理论是关于(1)选择合适的模型来研究这些问题,(2)开发适宜的数学工具(通常从概率,几何或代数)为了严格分析现有的启发式,或设计全新的算法。

http://people.csail.mit.edu/moitra/docs/bookex.pdf

成为VIP会员查看完整内容
0
23

近年来,知识图谱(KG)的构建和应用得到了快速的发展。大量的KGs,如Freebase、DBpedia、YAGO和NELL,已经被创建并成功地应用于许多实际应用中,从语义解析和命名实体消歧到信息提取和问答。KG是由实体(节点)和关系(不同类型的边)组成的多关系图。每条边都表示为形式(头实体、关系、尾实体)的三个部分,也称为事实,表示两个实体通过特定的关系连接在一起,例如(AlfredHitchcock, DirectorOf, Psycho)。虽然在表示结构化数据方面很有效,但是这类三元组的底层符号特性通常使KGs很难操作。

为了解决这个问题,提出了一种新的研究方向——知识图谱嵌入。关键思想是嵌入KG的组件,包括将实体和关系转化为连续的向量空间,从而简化操作,同时保留KG的原有的结构。那些实体和关系嵌入能进一步应用于各种任务中,如KG补全、关系提取、实体分类和实体解析。

成为VIP会员查看完整内容
0
35

常识性知识的来源旨在支持自然语言理解、计算机视觉和知识图的应用程序。这些源包含相互补充的知识,这使得它们的融合成为可能。然而,由于它们不同的关注点、建模方法和稀疏重叠,这样的融合并非微不足道。在本文中,我们建议通过以下五个原则来构建常识知识。我们运用这些原则将7个关键资源组合成第一个综合常识知识图(CSKG)。我们对CSKG及其各种文本和图的嵌入进行分析,表明CSKG是一个连接良好的图谱,它的嵌入提供了一个有用的图的入口点。此外,我们还展示了CSKG作为推理证据检索源的影响,以及作为可推广下游推理的预训练语言模型的影响。将CSKG及其所有嵌入公开,以支持对常识性知识集成和推理的进一步研究。

https://www.zhuanzhi.ai/paper/60f8a6ce3150842ccff87e35b367c4f4

成为VIP会员查看完整内容
0
26

知识图谱推理是一个基础问题,在电子商务推荐、生物医学知识图谱药品再利用等领域有着重要的应用。在本教程中,我将全面介绍知识图谱推理的最新进展,包括:(1)知识图谱嵌入的方法(如TransE、TransR和RotatE);(2)传统的归纳逻辑规划方法和最新的神经逻辑规划方法;(3)结合神经和符号逻辑方法进行知识图谱推理的最新进展。

地址: https://hub.baai.ac.cn/view/3865

成为VIP会员查看完整内容
0
57

深度学习在语音识别、计算机视觉等许多领域得到了广泛的应用和突破。其中涉及的深度神经网络结构和计算问题已经在机器学习中得到了很好的研究。但对于理解深度学习模型在网络架构中的建模、逼近或泛化能力,缺乏理论基础。在这里,我们对具有卷积结构的深度卷积神经网络(CNNs)很感兴趣。convolutional architecture使得deep CNNs和fully connected deep neural networks有本质的区别,而30年前发展起来的关于fully connected networks的经典理论并不适用。本讲座介绍了深度神经网络的数学理论与整流线性单元(ReLU)激活函数。特别是,我们首次证明了深度CNN的普遍性,即当神经网络的深度足够大时,深度CNN可以用来逼近任意的连续函数,达到任意的精度。我们还给出了显式的逼近率,并表明对于一般函数,深度神经网络的逼近能力至少与全连接多层神经网络一样好,对于径向函数更好。我们的定量估计严格按照待计算的自由参数的数量给出,验证了深度网络神经网络处理大数据的效率。

成为VIP会员查看完整内容
0
28

原型驱动的文本生成使用非参数模型,该模型首先从句子库中选择“原型”,然后修改原型生成输出文本。这些方法虽然有效,但测试时效率低下,因为需要对整个训练语料库进行存储和索引。此外,现有的方法通常需要启发式来确定在训练时引用哪个原型。在本文中,我们提出了一种新的生成模型,它可以自动学习稀疏原型支持集,同时也可以获得较强的语言建模性能。通过(1)在原型选择分布上施加稀疏诱导先验,(2)利用平摊变分推理学习原型检索函数来实现。在实验中,我们的模型优于以前的原型驱动的语言模型,同时实现了高达1000倍的内存减少,以及测试时1000倍的加速。更有趣的是,当我们改变原型选择的稀疏性时,我们展示了学习的原型能够在不同的粒度捕获语义和语法,并且可以通过指定生成的原型来控制某些句子属性。

https://arxiv.org/abs/2006.16336

成为VIP会员查看完整内容
0
11

人工智能的一个基本问题是对知识图谱(KG)捕获的事实执行复杂的多跳逻辑推理。这个问题是具有挑战性的,因为KGs可能是不完备的。最近的方法是将KG实体嵌入到低维空间中,然后利用这些嵌入来寻找答案实体。然而,如何处理任意一阶逻辑(FOL)查询一直是一个突出的挑战,因为目前的方法仅限于FOL操作符的一个子集。特别地,不支持否定运算符。现有方法的另一个限制是它们不能自然地建模不确定性。在这里,我们提出了一种用于回答KGs中任意FOL查询的概率嵌入框架BETAE。BETAE是第一种可以处理完整的一阶逻辑运算的方法:合取(∧)、析取(不确定)和否定(ed)。BETAE的一个关键观点是使用有界支持的概率分布,特别是Beta分布,以及嵌入查询/实体作为分布,这使得我们也能建模不确定性。逻辑操作由概率嵌入的神经算子在嵌入空间中执行。我们演示了BETAE在三个大的、不完整的KG上回答任意的FOL查询时的性能。虽然BETAE更加通用,但相对于目前最先进的KG推理方法(仅能处理不含否定的连接查询),它的相对性能提高了25.4%。

https://arxiv.org/pdf/2010.11465

成为VIP会员查看完整内容
0
31

回答大规模知识图谱上的复杂逻辑查询是一项基本而又具有挑战性的任务。在本文中,我将概述如何使用向量空间嵌入在知识图谱中执行逻辑推理。首先,我将讨论预测一对实体之间关系的知识图谱补全方法:通过捕获与实体相邻的关系类型来考虑每个实体的关系上下文,并通过一种新的基于边的消息传递方案进行建模;考虑关系路径捕获两个实体之间的所有路径;通过一种可学习的注意力机制,自适应地整合关系上下文和关系路径。其次,我们还将讨论QUERY2BOX,这是一个基于嵌入的框架,用于推理使用and、or和存在操作符进行的大量且不完整的KGs中的任意查询。

成为VIP会员查看完整内容
0
58
小贴士
相关VIP内容
专知会员服务
17+阅读 · 7月6日
专知会员服务
35+阅读 · 2月17日
专知会员服务
26+阅读 · 2020年12月23日
专知会员服务
57+阅读 · 2020年12月17日
专知会员服务
28+阅读 · 2020年11月30日
专知会员服务
11+阅读 · 2020年11月22日
专知会员服务
58+阅读 · 2020年6月11日
相关论文
Bohong Wu,Zhuosheng Zhang,Hai Zhao
0+阅读 · 7月25日
Query Embedding on Hyper-relational Knowledge Graphs
Dimitrios Alivanistos,Max Berrendorf,Michael Cochez,Mikhail Galkin
3+阅读 · 6月17日
Michihiro Yasunaga,Hongyu Ren,Antoine Bosselut,Percy Liang,Jure Leskovec
12+阅读 · 5月27日
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
Mandana Saebi,Steven Krieg,Chuxu Zhang,Meng Jiang,Nitesh Chawla
8+阅读 · 2020年3月12日
Representation Learning with Ordered Relation Paths for Knowledge Graph Completion
Yao Zhu,Hongzhi Liu,Zhonghai Wu,Yang Song,Tao Zhang
6+阅读 · 2019年9月26日
K-BERT: Enabling Language Representation with Knowledge Graph
Weijie Liu,Peng Zhou,Zhe Zhao,Zhiruo Wang,Qi Ju,Haotang Deng,Ping Wang
17+阅读 · 2019年9月17日
Zhengyan Zhang,Xu Han,Zhiyuan Liu,Xin Jiang,Maosong Sun,Qun Liu
4+阅读 · 2019年5月17日
Xuelu Chen,Muhao Chen,Weijia Shi,Yizhou Sun,Carlo Zaniolo
3+阅读 · 2018年11月26日
Lisa Bauer,Yicheng Wang,Mohit Bansal
4+阅读 · 2018年9月17日
Tommaso Soru,Stefano Ruberto,Diego Moussallem,Edgard Marx,Diego Esteves,Axel-Cyrille Ngonga Ngomo
7+阅读 · 2018年3月21日
Top