如何进行有效知识推理？斯坦福Jure《联合知识图谱与语言模型的推理》报告，附81页ppt

【导读】如何利用知识进行推进完成一些列下游任务？斯坦福大学Jure Leskovec最近在NAACL2021给了《Reasoning with Language and Knowledge Graphs》的讲座，重点讲述关于如何联合语言模型和知识图谱进行推理，完成问答等复杂任务。

使用来自预训练语言模型(LMs)和知识图谱(KG)的知识来回答问题提出了两个挑战: 给定一个QA上下文(问题和答案选择)，方法需要 (i) 从大型KG中识别相关知识，以及(ii)对QA上下文和KG进行联合推理。在这里，我们提出了一个新的模型，QA-GNN，它通过两个关键的创新来解决上述挑战: (i)相关性评分，我们使用语言模型来估计KG节点相对于给定的QA上下文的重要性，以及 (ii)联合推理，我们将QA上下文和KG连接起来形成一个联合图，并通过基于图的消息传递相互更新它们的表示。我们在CommonsenseQA和OpenBookQA数据集上评估了QA-GNN，并展示了它比现有的LM和LM+KG模型的改进，以及它执行可解释和结构化推理的能力，例如，正确处理问题中的否定。

https://www.zhuanzhi.ai/paper/ffbf2e36057b06828f277cf665ee01de

Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs Hongyu Ren, Jure Leskovec

https://www.zhuanzhi.ai/paper/cc45df932200d650155b91147b366bba

人工智能的基本问题之一是对知识图（KG）捕获的事实执行复杂的多跳逻辑推理。这个问题具有挑战性，因为KG可能庞大且不完整。最近的方法将KG实体嵌入到低维空间中，然后使用这些嵌入来找到答案实体。但是，由于当前方法仅限于一阶逻辑（FOL）运算符的子集，因此处理任意的FOL查询仍然是一个挑战。特别是，不支持取反运算符。当前方法的另一个局限性在于它们不能自然地对不确定性建模。在这里，我们介绍BETAE，这是一个概率嵌入框架，用于回答KG上的任意FOL查询。BETAE是第一个可以处理完整的一组一阶逻辑运算的方法，包括：合取（∧），析取（∨）和取反（¬）。BETAE的一个关键见解是在有限支持下使用概率分布，特别是Beta分布，并将查询/实体作为分布嵌入，这使我们也能够忠实地对不确定性进行建模。逻辑操作是由神经运算符在概率嵌入中执行的。BETAE在回答三个大型、不完整的KG上的任意FOL查询时达到了最先进的性能。