【KDD2022】掩码与推理:用于复杂逻辑查询的预训练知识图谱Transformers

知识图谱(KG)嵌入已经成为不完备知识图谱推理的主流方法，但由于其固有的浅层和静态架构的限制，难以处理日益受到关注的复杂逻辑查询，包括逻辑运算符、imputed边、多源实体和未知中间实体。在这项工作中，我们提出了知识图谱转换器(kgTransformer)，它具有掩码的预训练和微调策略。我们设计了一种KG三重变换方法，使Transformer能够处理KGs，并通过混合专家(mix -of- experts, MoE)稀疏激活进一步加强了这种方法。然后，我们将复杂的逻辑查询表述为掩码预测，并引入两阶段掩码训练前策略以提高可移植性和泛化性。在两个基准测试上的大量实验表明，kgTransformer在9个域内和域外推理任务上可以始终优于基于KG嵌入的基准和高级编码器。此外，kgTransformer可以通过提供完整的推理路径来解释给定的答案，从而具有可解释性。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“KGTR” 可以获取《【KDD2022】掩码与推理:用于复杂逻辑查询的预训练知识图谱Transformers》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源