Knowledge graphs (KGs) capture knowledge in the form of head--relation--tail triples and are a crucial component in many AI systems. There are two important reasoning tasks on KGs: (1) single-hop knowledge graph completion, which involves predicting individual links in the KG; and (2), multi-hop reasoning, where the goal is to predict which KG entities satisfy a given logical query. Embedding-based methods solve both tasks by first computing an embedding for each entity and relation, then using them to form predictions. However, existing scalable KG embedding frameworks only support single-hop knowledge graph completion and cannot be applied to the more challenging multi-hop reasoning task. Here we present Scalable Multi-hOp REasoning (SMORE), the first general framework for both single-hop and multi-hop reasoning in KGs. Using a single machine SMORE can perform multi-hop reasoning in Freebase KG (86M entities, 338M edges), which is 1,500x larger than previously considered KGs. The key to SMORE's runtime performance is a novel bidirectional rejection sampling that achieves a square root reduction of the complexity of online training data generation. Furthermore, SMORE exploits asynchronous scheduling, overlapping CPU-based data sampling, GPU-based embedding computation, and frequent CPU--GPU IO. SMORE increases throughput (i.e., training speed) over prior multi-hop KG frameworks by 2.2x with minimal GPU memory requirements (2GB for training 400-dim embeddings on 86M-node Freebase) and achieves near linear speed-up with the number of GPUs. Moreover, on the simpler single-hop knowledge graph completion task SMORE achieves comparable or even better runtime performance to state-of-the-art frameworks on both single GPU and multi-GPU settings.


翻译:知识图形( KGs) 捕捉知识, 形式为四百平方位关系三进制, 并且是许多AI 系统中的一个关键组成部分。 在 KGs 上有两个重要的推理任务:(1) 单霍普知识图形完成, 包括预测 KG 中的个人链接;(2) 多霍普推理, 目标是预测哪个 KG 实体符合给定的逻辑查询。 嵌入基方法可以解决这两个任务, 先计算每个实体的嵌入和关系, 然后再使用它们来形成预测。 然而, 现有的可缩放 KG 嵌入框架只能支持单霍普知识图形完成, 并且不能应用到更具挑战性多霍普推理任务任务。 我们在这里展示了可缩放多霍普图图图图图的完成; 以及 (2) 多霍普图推理图, 目标是预测哪个 KGGGG 实体满足给每个实体的嵌入和关系, 然后在FreeBase KG GG (86 M 实体, 33MUs) 上进行多重推算推算推算。 SMOrlod 培训的精度运行运行运行的精略性运行运行运行性运行运行运行, 通过 SBrBrBrick 的S- 的S- 的S- 的SBral IM 的S- dreal- drealx 的S- dal- dal- dal- dal- dal- dal- sal- dal- salx 将S- sal- sal- salmax 的S- sald- sal- sal- sal- sald- sal- sald- sal- sal- sal- sal- saldald- sald- sal- sal- sal- sal- sald- sald- sal- saldald- sal- sal- sal- saldald- sal lad- sal- sal

19
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
79+阅读 · 2021年12月9日
最新《图理论》笔记书,98页pdf
专知会员服务
73+阅读 · 2020年12月27日
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
40+阅读 · 2020年11月22日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
论文小综 | Using External Knowledge on VQA
开放知识图谱
10+阅读 · 2020年10月18日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
已删除
将门创投
4+阅读 · 2018年6月4日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
论文浅尝 | Open world Knowledge Graph Completion
开放知识图谱
19+阅读 · 2018年1月30日
Arxiv
8+阅读 · 2021年4月21日
CSKG: The CommonSense Knowledge Graph
Arxiv
18+阅读 · 2020年12月21日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
7+阅读 · 2018年3月17日
VIP会员
相关资讯
论文小综 | Using External Knowledge on VQA
开放知识图谱
10+阅读 · 2020年10月18日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
已删除
将门创投
4+阅读 · 2018年6月4日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
论文浅尝 | Open world Knowledge Graph Completion
开放知识图谱
19+阅读 · 2018年1月30日
Top
微信扫码咨询专知VIP会员