前沿 | 结合感知和概念思维，DeepMind提出可微归纳逻辑框架∂ILP

2018 年 1 月 30 日 机器之心

选自DeepMind

机器之心编译

最近，DeepMind 在 JAIR 上发表论文《Learning Explanatory Rules from Noisy Data》，表明将直观感知思维和概念可解释性推理思维整合到单个系统中是可能的。他们介绍的系统∂ILP 对噪声数据具备鲁棒性，且可以高效地利用数据，并生成可解释的规则。

假设你在踢足球，足球到了你脚下，你决定把球传给无人盯防的前锋。看似一个简单的动作其实需要两种不同类型的思维。

首先，你识别到脚下有一颗足球，这需要直观感知思维，你无法清晰地表达你是如何知道脚下有一颗足球的，你只是看到它就在那里。其次，你决定将球传给某个前锋，这个决定需要概念性思维。你的决策是有依据的，你把球传给那个前锋是因为她没有被盯防。

这种区别很有意思，因为这两种类型的思维对应两种不同的机器学习方法：深度学习和符号程序合成（symbolic program synthesis）。深度学习聚焦于直观感知思维，而符号程序合成聚焦于概念性的、基于规则的思维。每个系统有不同的指标，深度学习系统对带噪数据具备鲁棒性，但其工作原理难以解释，且需要大量训练数据；而符号系统更容易解释，只需要少量的训练数据，但难以处理带噪数据。虽然人类感知能力可以无缝结合这两种思维方式，但如何将二者整合到 AI 系统中，尚无清晰的结论。

最近，DeepMind 在 JAIR 上发表论文《Learning Explanatory Rules from Noisy Data》，表明将直观感知思维和概念可解释性推理思维整合到单个系统中是可能的。他们所描述的系统∂ILP 对噪声是鲁棒的，可以高效地利用数据，并生成可解释的规则。

作者展示了∂ILP 如何处理归纳任务。给定一对表示数字的图像，其任务是输出标签（0 或 1）指出左图的数字是否比右图的数字小。解决这个问题需要上述的两种思维：直观感知思维将图像识别为特定数字的表征，概念性思维理解完全一般性的「小于」关系。

归纳任务示例

给标准的深度学习模型（如带 MLP 的卷积神经网络）提供足够的训练数据，它可以有效地解决这个任务。一旦网络经过了训练，你就可以向网络输入一对它未见过的图像，网络可以正确地对其分类。然而，只有用每对数字的多个样本进行训练，网络才能正确地泛化。这种模型的视觉泛化能力很好：泛化到新的图像上，假定它已经见过测试集中的所有数字对（参见下图中的绿框部分）。但它无法进行符号泛化：泛化到它从未见过的数字对（参见下图中的蓝框）。Gary Marcus 和 Joel Grus 近日通过发人深省的文章指出了这一点。

∂ILP 和标准的神经网络不同，它可以进行符号泛化；∂ILP 也和标准的符号程序不同，它可以进行视觉泛化。它从可读取、可解释和可验证的样本中学习显式的程序。向∂ILP 提供部分样本集（期望结果），它可以生成一个满足需求的程序。它利用梯度下降来搜索程序空间。如果程序的输出和参考数据的期望结果相冲突，系统将修正程序以更好地匹配数据。

∂ILP 训练循环

∂ILP 能够进行符号泛化。在它见过足够的 x < y、y < z、x < z 样本之后，它就会考虑 < 关系可传递的可能性。一旦它意识到这条泛化规则后，就可以将其应用到未见过的新的数字对。

实验结果总结如上图：标准深度神经网络（蓝色曲线）无法正确泛化至未见数字对。相反，∂ILP（绿线）在只见过 40% 数字对的情况下仍能达到较低的测试误差。这表明它能够进行符号泛化。

DeepMind 认为该系统可以初步回答深度神经网络能否进行符号泛化的问题。未来，DeepMind 计划将∂ILP 类系统整合进强化学习智能体和更大的深度学习模块。DeepMind 希望其系统可以同时具备推断和反应的能力。

论文：Learning Explanatory Rules from Noisy Data

论文链接：http://www.jair.org/media/5714/live-5714-10391-jair.pdf

摘要：人工神经网络是强大的函数逼近器，能够对大量监督式、非监督问题提供解决方案。随着神经网络规模和表达性的增长，模型方差也在增长，出现了比较普遍的过拟合问题。尽管过拟合问题可以通过多种模型正则化方法得到改善，但最常见的解决方案是使用大量训练数据（可能很难获取足量训练数据），以充分逼近我们想要测试的范畴的数据分布。相反，逻辑编程方法如归纳逻辑编程（ILP）可以高效利用数据，从而模型可以被训练在符号范畴上进行推断。但是，这些方法无法应对多个范畴，而神经网络可以：逻辑编程方法对输入中的噪声或错误标注不具备足够的鲁棒性，更重要的是，它们无法应用到数据模糊的非符号范畴中，例如处理原始像素。本文提出一种可微归纳逻辑框架（Differentiable Inductive Logic framework），不仅能够解决传统 ILP 适合的任务，还展示了 ILP 不具备的对训练数据中噪声和误差的鲁棒性。此外，由于它能针对似然估计的目标函数执行反向传播来训练，它可与神经网络结合处理模糊数据，以应用于 ILP 无法处理的范畴，同时提供数据处理高效性和神经网络无法达到的泛化性能。