相关内容

斯坦福图学习workshop,Jiaxuan You博士讲述图学习在金融网络中的应用。

成为VIP会员查看完整内容
0
25

【导读】如何利用知识进行推进完成一些列下游任务?斯坦福大学Jure Leskovec最近在NAACL2021给了《Reasoning with Language and Knowledge Graphs》的讲座,重点讲述关于如何联合语言模型和知识图谱进行推理,完成问答等复杂任务。

使用来自预训练语言模型(LMs)和知识图谱(KG)的知识来回答问题提出了两个挑战: 给定一个QA上下文(问题和答案选择),方法需要 (i) 从大型KG中识别相关知识,以及(ii)对QA上下文和KG进行联合推理。在这里,我们提出了一个新的模型,QA-GNN,它通过两个关键的创新来解决上述挑战: (i)相关性评分,我们使用语言模型来估计KG节点相对于给定的QA上下文的重要性,以及 (ii)联合推理,我们将QA上下文和KG连接起来形成一个联合图,并通过基于图的消息传递相互更新它们的表示。我们在CommonsenseQA和OpenBookQA数据集上评估了QA-GNN,并展示了它比现有的LM和LM+KG模型的改进,以及它执行可解释和结构化推理的能力,例如,正确处理问题中的否定。

https://www.zhuanzhi.ai/paper/ffbf2e36057b06828f277cf665ee01de

Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs Hongyu Ren, Jure Leskovec

https://www.zhuanzhi.ai/paper/cc45df932200d650155b91147b366bba

人工智能的基本问题之一是对知识图(KG)捕获的事实执行复杂的多跳逻辑推理。这个问题具有挑战性,因为KG可能庞大且不完整。最近的方法将KG实体嵌入到低维空间中,然后使用这些嵌入来找到答案实体。但是,由于当前方法仅限于一阶逻辑(FOL)运算符的子集,因此处理任意的FOL查询仍然是一个挑战。特别是,不支持取反运算符。当前方法的另一个局限性在于它们不能自然地对不确定性建模。在这里,我们介绍BETAE,这是一个概率嵌入框架,用于回答KG上的任意FOL查询。BETAE是第一个可以处理完整的一组一阶逻辑运算的方法,包括:合取(∧),析取(∨)和取反(¬)。BETAE的一个关键见解是在有限支持下使用概率分布,特别是Beta分布,并将查询/实体作为分布嵌入,这使我们也能够忠实地对不确定性进行建模。逻辑操作是由神经运算符在概率嵌入中执行的。BETAE在回答三个大型、不完整的KG上的任意FOL查询时达到了最先进的性能。

成为VIP会员查看完整内容
0
48

【导读】这一份最新216页的ppt概述《深度学习自然语言处理》,包括神经网络基础,词向量表示,序列句子表示,分类标注、生成句子,预训练。

成为VIP会员查看完整内容
0
137
小贴士
相关VIP内容
专知会员服务
36+阅读 · 8月7日
专知会员服务
42+阅读 · 2月17日
专知会员服务
12+阅读 · 2020年11月22日
专知会员服务
33+阅读 · 2020年8月19日
专知会员服务
65+阅读 · 2020年6月11日
知识图谱在可解释人工智能中的作用,附81页ppt
专知会员服务
76+阅读 · 2019年11月11日
相关论文
Fang Li,Elmer Salazar,Gopal Gupta
0+阅读 · 11月25日
Citation method, please? A case study in astrophysics
SemEval-2020 Task 4: Commonsense Validation and Explanation
Cunxiang Wang,Shuailong Liang,Yili Jin,Yilong Wang,Xiaodan Zhu,Yue Zhang
4+阅读 · 2020年7月1日
Ziyun Wang,Brenden M. Lake
3+阅读 · 2019年9月26日
Don't Blame Distributional Semantics if it can't do Entailment
Matthijs Westera,Gemma Boleda
3+阅读 · 2019年5月17日
Drew A. Hudson,Christopher D. Manning
3+阅读 · 2019年5月10日
ConceptNet 5.5: An Open Multilingual Graph of General Knowledge
Robyn Speer,Joshua Chin,Catherine Havasi
7+阅读 · 2018年12月11日
Joel A. Tropp,Alp Yurtsever,Madeleine Udell,Volkan Cevher
4+阅读 · 2018年1月2日
Matthew Kennedy,Nicholas A. Manor,Vern I. Paulsen
5+阅读 · 2017年12月7日
Han Xiao,Lian Meng,Minlie Huang,Xiaoyan Zhu
6+阅读 · 2017年12月2日
Top