ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

深度学习广泛应用于各种研究领域以及生产环境，为人类带来极大的收益和便利。但是现有的深度学习的可解释性不强，人们只知道它的结果是什么，却不知道为什么得出这样一个结果。所以人们逐渐将目光投向模型的可解释性的问题。推理就是其中一个火热的研究方向。

一种应用广泛的推理框架称为归纳逻辑推理程序（Inductive Logic Programming, ILP），它通过规则的硬匹配以及遍历的搜索流程去逐步搜索出满足条件的逻辑范式，但是效率太低，表达能力差，而且对噪音数据的容忍性小。后来一些工作提出了可微分的 ILP 模型，去利用神经网络的学习能力自主的去学到一些泛化性较强的逻辑范式，但是大多模型只能学出一阶逻辑谓词的线性组合范式，表达能力也十分有限，而且基于具体的数据，导致泛化性能不理想。

本文提出一种高效的基于神经网络的归纳逻辑学习模型（Neural Logic Inductive Learning, NLIL），它首先将逻辑谓词转换为一种谓词操作，进而将所有的中间变量转化为首尾实体的谓词操作表示，而这样的首尾变量在具体实现时可用随机初始化的向量表示，这样就摆脱了数据依赖；随后这样一个个谓词操作组成了逻辑范式的原始表达单位，这样就极大的拓展了逻辑谓词的表达能力，从只能表达链式的逻辑规则拓展到树形，以及规则之间的合取模式。

接下来，NLIL 模型又将一个个原始表达单位使用逻辑连接词组合起来（与，或，非），这样又进一步的扩展了生成的逻辑范式的表达能力。

在实现上，NLIL 模型使用了分层的 transformer 模型去高效的计算中间的待学习参数，包括逻辑谓词的向量以及相应的注意力机制的参数。

在实验设置上，本文首先以知识图谱补全任务为背景，在三个知识图谱（ES,FB15K-237 以及 WN18）上对 NLIL 模型的效果和效率都做了细致的评估：

从表中可以看出，NLIL 模型在效果和效率上都明显的好于相关的 baseline。

同时，本文还使用了视觉领域的数据，以物体检测任务作为背景，将图片上的物体之间的关系抽象成小的知识图谱。

从实验结果可以看出，虽然基于丰富标签数据的监督学习方法达到了比较好的效果，但是 NLIL 仅仅利用稀疏的（0/1）标签就能达到匹敌的效果，甚至显著优于一种监督模型 baseline 的效果，进一步体现出了模型的有效性。

近期精彩集锦（点击蓝色字体跳转阅读）：

公众号对话框回复“2020科技趋势”，获取《2020科技趋势报告》完整版PDF！

公众号对话框回复“AI女神”，获取《人工智能全球最具影响力女性学者报告》完整版！

公众号对话框回复“AI10”，获取《浅谈人工智能下一个十年》主题演讲PPT！

公众号对话框回复“GNN”，获取《图神经网络及认知推理》主题演讲PPT！

公众号对话框回复“AI指数”，获取《2019人工智能指数报告》完整版PDF！

公众号对话框回复“3D视觉”，获取《3D视觉技术白皮书》完整版PDF！

点击阅读原文，一键直达 ICLR 2020 专题！