We propose Dynamically Pruned Message Passing Networks (DPMPN) for large-scale knowledge graph reasoning. In contrast to existing models, embedding-based or path-based, we learn an input-dependent subgraph to explicitly model a sequential reasoning process. Each subgraph is dynamically constructed, expanding itself selectively under a flow-style attention mechanism. In this way, we can not only construct graphical explanations to interpret prediction, but also prune message passing in Graph Neural Networks (GNNs) to scale with the size of graphs. We take the inspiration from the consciousness prior proposed by Bengio to design a two-GNN framework to encode global input-invariant graph-structured representation and learn local input-dependent one coordinated by an attention module. Experiments show the reasoning capability in our model that is providing a clear graphical explanation as well as predicting results accurately, outperforming most state-of-the-art methods in knowledge base completion tasks.


翻译:我们为大规模知识图表推理提出了动态谨慎信息传递网络(DPMPN) 。 与现有的模型相比, 我们学习了一个基于输入的子集, 以明确模拟顺序推理过程。 每个子集都是动态构建的, 在流动式关注机制下有选择地扩展自己。 这样, 我们不仅可以构建图形解释来解释预测, 还可以构建图形神经网络( GNNs)中传递的信息, 以与图表大小相适应。 我们从Bengio先前提出的设计两个GNN框架以编码全球输入变量图形结构代表并学习一个由关注模块协调的本地输入驱动框架的意识中得到启发。 实验显示了我们模型中的推理能力, 它提供了清晰的图形解释并准确预测结果, 超过了知识基础完成任务中最先进的方法。

6
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
243+阅读 · 2020年4月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
101+阅读 · 2019年10月9日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【论文】图上的表示学习综述
机器学习研究会
13+阅读 · 2017年9月24日
Reasoning on Knowledge Graphs with Debate Dynamics
Arxiv
14+阅读 · 2020年1月2日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
8+阅读 · 2018年3月17日
VIP会员
相关VIP内容
因果图,Causal Graphs,52页ppt
专知会员服务
243+阅读 · 2020年4月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
101+阅读 · 2019年10月9日
相关资讯
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【论文】图上的表示学习综述
机器学习研究会
13+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员