深度学习如何推理？看这份KDD2021《深度学习到深度推理》教程，附143页Slides

大数据和大计算的兴起给数字生活的许多领域带来了现代神经网络，这要归功于构建与现实世界相适应的大型模型相对容易。Transformers的成功和对海量数据的自监督预训练让一些人相信，只要我们有数据和计算资源，深度神经网络几乎可以做任何事情。然而，情况可能并非如此。虽然神经网络可以快速地利用表面统计，但它们在推广到新的组合上却失败得很糟糕。目前的神经网络并不执行刻意推理——即从上下文数据中有意地推导出新知识的能力。本教程回顾了最近的发展，将神经网络的能力扩展到从数据“学习推理”，其中的任务是确定数据是否包含一个结论。这种能力开辟了新的途径，通过使用自然语言进行任意查询，从数据中生成见解，而不需要预先定义一组狭义的任务。

本教程由三个主要部分组成。A部分涵盖了学习-推理框架，解释了神经网络如何通过绑定、注意力和动态计算图等自然操作作为推理的强大支柱。我们还将展示神经网络如何学习执行组合算法。第二部分将更详细地介绍神经网络如何在非结构化和结构化数据上进行推理，以及跨多种模态。将解释集合、关系、图和时间的推理。C部分回顾了更高级的主题，包括带有外部记忆的神经网络，学习用有限的标签进行推理，以及用心智理论进行递归推理。我们将特别关注神经记忆作为支持实体、关系甚至神经程序推理的基本机制。如有可能，将提供文本理解和视觉问答方面的个案研究。