ICML20 workshop | 感知与推理的桥梁：超越图神经网络

2020 年 8 月 7 日 专知

ICML 2020 workshop（Bridge Between Perception and Reasoning: Graph Neural Networks & Beyond）由蒙特利尔HEC的助理教授唐建、佐治亚理工学院机器学习中心副主任宋乐、斯坦福大学计算机科学副教授Jure Leskovec等人组织举办，研讨会试图将深度学习、逻辑/符号推理、统计关系学习和图算法等领域带入一个共同的领域，并探讨系统Ⅰ和系统Ⅱ之间的集成。

注：系统Ⅰ智能（感知智能）是指在图像识别、语音合成等感知任务上的智能，深度学习在这类任务上已经卓有成效；系统Ⅱ智能（推理智能）是指在自动驾驶、多跳问答等现实世界中的复杂任务上的智能，往往需要了解数据中高级变量之间的关系并执行逻辑推理。集成系统Ⅰ智能和系统Ⅱ智能是现阶段人工智能领域的核心。

本次研讨会共收录了23篇文章，主要关注下列10个子方向：

用于逻辑推理，知识图和处理关系数据的深度学习和图神经网络。
计算机视觉中的深层关系和图形推理。
用于自然语言和文本语料库的多跳推理的深度学习和图神经网络。
用于统计关系建模的深度学习（例如，贝叶斯网络，马尔可夫网络和因果模型）。
用于图和符号算法的深度学习（例如，组合和迭代算法）。
用于归纳结构的深度学习（例如，逻辑、数学公式以及关系模式）。
图神经网络的逻辑推理和图算法的理论基础。
在计算机视觉，自然语言处理，医疗保健和其他科学领域的应用。
基准数据集和开源库。
其他机制，例如注意力和意识。

其中，Best Paper Award颁给了加州大学洛杉矶分校朱松纯团队的《Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning》，Best Paper Award Runner-up颁给了剑桥大学Jose Miguel Hernandez-Lobato团队的《Barking up the right tree: an approach to search over molecule synthesis DAGs》。

本次研讨会入选文章最多的学者有并列4位，均有2篇论文入选。他们分别是：

北京邮电大学教授：石川
蚂蚁集团资深算法专家：周俊
佐治亚理工学院机器学习中心副主任：宋乐
蚂蚁集团高级算法专家：张志强

其中，石川教授入选的2篇文章，第一作者分别是北邮GAMMA Lab 19届硕士胡斌斌，和北邮GAMMA Lab 16级本科实习生史靖涵。两位作者将在北邮GAMMA Lab公众号对论文进行解读。

所有论文可以从研讨会官网下载：https://logicalreasoninggnn.github.io/。下面汇总了被收录的23篇论文题目、作者及摘要译文：

1. [Spotlight] Generating Programmatic Referring Expressions via Program Synthesis （通过程序合成生成程序引用表达式）

Jiani Huang, Osbert Bastani, Calvin Smith, Rishabh Singh, Aws Albarghouthi, Mayur Naik

摘要：在机器学习算法中加入符号推理是一种很有前途的方法，可以提高在需要逻辑推理的任务中的表现。我们研究了生成引用表达式的编程变体的问题：给定图像和该图像中的目标对象的符号表示，生成一个惟一标识目标对象的关系程序。我们提出了一个程序合成算法，使用强化学习产生这样的程序。我们证明了我们的方法在基于CLEVR数据集的具有挑战性的基准测试中显著优于几个基线。

2. [Spotlight] Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning（通过整合神经感知、语法分析和符号推理的闭环神经符号学习）

Qing Li, Siyuan Huang, Yining Hong, Yixin Chen, Ying Nian Wu, Song-Chun Zhu

摘要：神经符号计算的目标是整合连接主义和符号主义范式。以往的方法是使用强化学习方法来学习神经符号模型，这种方法忽略了符号推理模块中错误的传播，从而在奖励稀疏的情况下缓慢收敛。在本文中，我们解决这些问题并通过如下方式构建神经符号学习闭环。（1）将语法模型作为符号引入到神经感知和符号推理之间；（2）提出了一种新颖的反向搜索算法，该算法模仿自上而下的类人学习过程，以通过符号推理模块有效地传播错误。在两个弱监督的神经符号任务上进行了实验：（1）在CROHME数据集上进行手写公式识别；（2）在CLEVR数据集上可视化地回答问题。结果表明，我们的方法在性能、收敛速度和数据效率方面都明显优于强化学习方法。

3. [Spotlight] Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs（知识图中用于多跳逻辑推理的Beta嵌入）

Hongyu Ren, Jure Leskovec

摘要：人工智能的基本问题之一是对知识图（KG）捕获的事实执行复杂的多跳逻辑推理。这个问题具有挑战性，因为KG可能庞大且不完整。最近的方法将KG实体嵌入到低维空间中，然后使用这些嵌入来找到答案实体。但是，由于当前方法仅限于一阶逻辑（FOL）运算符的子集，因此处理任意的FOL查询仍然是一个挑战。特别是，不支持取反运算符。当前方法的另一个局限性在于它们不能自然地对不确定性建模。在这里，我们介绍BETAE，这是一个概率嵌入框架，用于回答KG上的任意FOL查询。BETAE是第一个可以处理完整的一组一阶逻辑运算的方法，包括：合取（∧），析取（∨）和取反（¬）。BETAE的一个关键见解是在有限支持下使用概率分布，特别是Beta分布，并将查询/实体作为分布嵌入，这使我们也能够忠实地对不确定性进行建模。逻辑操作是由神经运算符在概率嵌入中执行的。BETAE在回答三个大型、不完整的KG上的任意FOL查询时达到了最先进的性能。

4. [Spotlight] Barking up the right tree: an approach to search over molecule synthesis DAGs（找到正确的树：一种搜索分子合成DAG的方法）

John A Bradshaw, Brooks Paige, Matt J Kusner, Marwin Segler, Jose Miguel Hernandez-Lobato

摘要：当向化学家推荐具有特殊性质的新分子时，重要的不仅是制造什么，而且是如何制造。这些指令形成了一个合成有向无环图(DAG)，描述了如何通过化学反应递归地组合大量的简单构建块，从而生成更复杂的感兴趣的分子。相比之下，目前许多分子深层生成模型忽略了可合成性。因此，我们提出了一个深层生成模型，通过直接输出分子合成DAG，可以更好地代表真实世界的过程。我们认为，这会提供合理的归纳偏差，从而确保我们的模型在与化学家相同的化学空间内进行搜索。我们证明我们的方法可以很好地模拟化学空间，产生大量不同的分子，并允许对一个固有约束问题进行无约束优化：最大化某些性质，以便可合成发现的分子。

5. [Spotlight] Modeling the semantics of data sources with graph neural networks（使用图神经网络对数据源的语义建模）

Giuseppe Futia, Giovanni Garifo, Antonio Vetrò, Juan Carlos De Martin

摘要：语义模型是将数据发布到知识图（KG）中的基础，因为语义模型通过参考本体中定义的概念和属性来编码数据源的确切含义。然而，构建语义模型需要大量的手工工作和专业知识。本文提出了一种基于图神经网络的数据源语义模型构建方法。GNN在链接数据（LD）图上进行训练，该图用作背景知识以自动推断连接数据源属性的语义关系。据我们所知，这是第一个使用GNN识别语义关系的方法。我们在来自广告领域的15个目标源（在文献中的其他研究中使用过）上测试了我们的方法，并将其与两个基线和一种目前最先进的技术进行了比较。评估结果表明，我们的方法在数据源中使用ground truth中定义的语义关系最多的情况下优于现有的技术。

6. [Spotlight] SpatialSim: Recognizing Spatial Configurations of Objects with Graph Neural Networks（Spatial alsim:用图神经网络识别物体的空间构型）

Laetitia Teodorescu, Katja Hofmann, Pierre-Yves Oudeyer

摘要：识别对象组的精确几何构型是人类空间认知的一项关键能力，但迄今为止，在深度学习文献中很少进行研究。特别地，一个基本问题是机器如何学习和比较与外部观察者的观点无关的几何空间构型。在本文中，我们做出了两个关键的贡献。首先，我们提出了Spatial alsim(空间相似性)，一种新的几何推理基准，并认为该基准的进展将为在现实世界中解决这一挑战铺平道路。该基准由两个任务组成：“识别”和“比较”，每个任务都以越来越高的难度实例化。其次，我们研究完全连接的消息传递图神经网络（MPGNN）所表现出的关系归纳偏差如何用于解决这些任务，并展示它们在较少的关系基线（例如深度集）和非结构化模型（例如多层感知器）上的优势。最后，我们重点介绍了这些任务中GNN的当前限制。

7. [Spotlight] Enhancing Neural Mathematical Reasoning by Abductive Combination with Symbolic Library（通过归纳组合和符号库增强神经数学推理）

Yangyang Hu, Yang Yu

摘要：最近，数学推理已被证明是对神经系统的一个艰难挑战。包括表达、翻译、逻辑推理和数学知识的获取在内的能力似乎是克服挑战的必要条件。本文证明了一些能力可以通过与用人类知识编程的离散系统的外展组合来实现。在数学推理数据集上，我们采用了最近提出的归纳学习框架，并提出了将Transformer神经模型与符号数学库相结合的ABL-Sym算法。与最先进的方法相比，ABL-Sym在插值任务上的准确性提高了9.73％，在外插任务上的准确性提高了47.22％。

8. [Spotlight] Learning Retrosynthetic Planning with Chemical Reasoning（用化学推理学习逆合成规划）

Binghong Chen, Chengtao Li, Hanjun Dai, Le Song

摘要：逆合成规划是化学中的一项关键任务，它确定了导致目标产物合成的一系列反应。由于大量可能的化学转化带来巨大的搜索空间，即使对于有经验的化学家而言，这也是一个挑战。现有方法具有各种局限性，例如，需要通过具有高方差的转出进行昂贵的收益估算或针对搜索速度而不是质量进行优化。在本文中，我们通过将学习到的神经搜索偏见与化学推理相结合，提出了一个逆合成规划框架Retro *。Retro *是一种基于神经的A *类算法，可使用AND-OR树有效地找到高质量的合成路线。尽管它可以直接应用于小分子，但我们进一步扩展了框架以处理聚合物合成。在基准数据集上进行的实验表明，我们提出的方法在成功率和解决方案质量方面都优于现有的最新技术，同时效率更高。

9. [Poster] Neural Analogical Matching（神经类比匹配）

Maxwell Crouse, Constantine Nakos, Ibrahim Abdelaziz, Ken Forbus

摘要：类比是人类认知的核心。它使我们能够根据先前的经验来解决问题，控制我们对新信息进行概念化的方式，甚至影响我们的视觉感知。类比对人类的重要性使其成为更广泛的人工智能领域的活跃研究领域，从而形成了以人类方式学习和推理的数据有效模型。虽然类比和深度学习通常被认为是彼此独立的，但是将这两个研究领域相结合似乎是朝着更强大和有效的学习技术迈出的有希望的一步。作为实现这种集成的第一步，我们介绍了类比匹配网络：一种神经体系结构，可学习在结构化，符号表示之间产生类比，这些类推与结构映射理论的原理基本一致。

10. [Poster] End-to-end permutation learning with Hungarian algorithm（匈牙利算法的端到端置换学习）

Yuta Kawachi, Teppei Suzuki

摘要：排列出现在许多机器学习的应用中，如计算机视觉中的关键点匹配或雷达信号处理中的多目标跟踪。最近，深度学习中使用的Sinkhorn迭代的固定数字展开被应用于这类任务。我们证明了固定长度展开方案不可避免地存在样本不收敛的事实，并提出了直接使用匈牙利算法，通过使用直通式估计器而不是Sinkhorn迭代来避免这个问题。我们通过实验对算法的性能进行了评估，结果表明该算法可以与传统的Gumbel-Sinkhorn算法相比较，甚至更好。

11. [Poster] KGNN: Distributed Framework for Graph Neural Knowledge Representation（KGNN：图神经知识表示的分布式框架）

Binbin Hu, Zhiyang Hu, Zhiqiang Zhang, Jun Zhou, Chuan Shi

摘要：知识表示学习是将知识图(KG)整合到各种在线服务中的一种常用学习方法。现有的知识表示学习虽然取得了相当大的性能提升，但由于忽略了高阶结构和丰富的属性信息，导致对语义丰富的KGs的性能不能令人满意，不能进行归纳预测，也不能适用于大型工业图。为了解决这些问题，我们开发了一个新的框架，称为KGNN，以充分利用知识数据在分布式学习系统中的表示学习。具体来说，KGNN配置了基于GNN的编码器和知识感知解码器，旨在以细粒度的方式共同探索高阶结构和属性信息，并分别保留KGs中的关系模式。我们在三个数据集上进行了大量的实验，用于链接预测和三元组分类任务。实验结果证明了该KGNN框架的有效性和可扩展性。

12. [Poster] Heterogeneous Graph Neural Network for Recommendation（用于推荐系统的异质图神经网络）

Jinghan Shi, Houye Ji, Chuan Shi, Xiao Wang, Zhiqiang Zhang, Jun Zhou

摘要：电子商务的蓬勃发展催生了多样化的推荐系统。事实上，在现实推荐系统中，各种类型的节点之间存在着丰富而复杂的交互，可以构造成异构图。如何学习代表性节点的嵌入是个性化推荐系统的基础和核心。元路径是一种广泛使用的结构，用于捕获这种交互下的语义，并在改进节点嵌入方面显示出潜在的能力。本文提出了异构图推荐神经网络(HGRec)，该网络通过聚合基于多跳元路径的邻居将高阶语义注入到节点嵌入中，并基于注意力机制通过多个元路径融合丰富的语义以获得全面的节点嵌入。实验结果证明了丰富的高阶语义的重要性，并且还显示了HGRec潜在的良好解释性。

13. [Poster] Molecule Edit Graph Attention Network: Modeling Chemical Reactions as Sequences of Graph Edits（分子编辑图注意力网络：将化学反应建模为图编辑序列）

Mikołaj Sacha, Mikołaj Błaż, Piotr Byrski, Paweł Włodarczyk-Pruszyński, Stanislaw Jastrzebski

摘要：自动化化学合成计划中的关键挑战之一是提出多样且可靠的反应。一种常见的方法是使用反应模板生成反应，该模板将反应表示为固定图转换。这可以进行准确且可解释的预测，但多样性有限。另一方面，无模板的方法增加了多样性，但容易犯一些小错误。受反应模板有效性的启发，我们提出了分子编辑图注意力网络（MEGAN），这是一种无模板的模型，该模型将反应编码为图编辑序列。我们的模型可以在标准的逆向合成基准上获得最新的结果，而无需任何手动规则编码。

14. [Poster] Hierarchical Relational Inference（层次关系推断）

Aleksandar Stanic, Sjoerd van Steenkiste, Jürgen Schmidhuber

摘要：常识的物理推理需要了解物体之间的相互作用及其动力学。然而，抽象对象的概念包含了各种各样的物理对象，这些物理对象在它们所支持的复杂行为方面有很大的不同。为了解决这个问题，我们提出了一种新的物理推理方法，将对象建模为部分的层次结构，这些部分可能在局部独立运行，但也可能作为一个整体更全局地运行。与之前的方法不同，我们的方法以一种无监督的方式直接从原始视觉图像中学习，以发现对象、部件及其关系。我们演示了它是如何在建模合成和真实世界物理动力学的强大基线之上改进的。

15. [Poster] Sum-Product Logic: Integrating Probabilistic Circuits into DeepProbLog（和-积逻辑：将概率电路集成到DeepProbLog中）

Arseny Skryagin, Karl Stelzner, Alejandro Molina, Fabrizio G Ventola, Zhongjie Yu, Kristian Kersting

摘要：我们将介绍和积逻辑(SPLog)，这是一种深度概率逻辑编程语言，通过编码为概率电路的谓词（特别是和-积网络）来整合学习。我们将展示现有的推理和学习技术如何适用于新语言。我们的经验表明，支持符号表示法和深度表示法（包括神经回路和概率回路表示法）对于从示例进行推理和（深度）学习的好处。据我们所知，这项工作是第一个提出将深度神经网络、概率电路、表达概率逻辑建模和推理集成在一起的框架的工作。

16. [Poster] Neural-Symbolic Modeling for Natural Language Discourse（自然语言语篇的神经符号建模）

Maria Leonor Pacheco, Dan Goldwasser

摘要：为现实的自然语言任务建立模型需要处理长文本并考虑复杂的结构依赖关系。神经符号表示法是将符号方法的推理能力与神经网络的表达能力结合起来的一种方法。在本文中，我们为DRAIL提供了一个用于指定深度关系模型的声明性框架，旨在支持各种NLP场景。我们的框架支持与表达语言编码器的简单集成，并提供一个界面来研究表示、推理和学习之间的交互。

17. [Poster] Towards Scale-Invariant Graph-related Problem Solving by Iterative Homogeneous Graph Neural Networks（用于求解标度不变图相关问题的迭代同质图神经网络）

Hao Tang, Zhiao Huang, Jiayuan Gu, Bao-Liang Lu, Hao Su

摘要：当前的图神经网络（GNNs）在解决许多图分析问题时，在尺度（图的尺寸、图的直径、边的权值等）方面缺乏通用性。从综合图论程序的角度来看，我们提出了一些扩展来解决该问题。首先，受通用图论算法迭代次数对图大小的依赖性的启发，我们学会根据计算进度自适应地终止GNN中的消息传递过程。其次，受许多图论算法对于图权值都是齐次的启发，我们引入齐次变换层，它是通用齐次函数逼近器，将普通的GNN转换为齐次的。实验表明，对于一些基本图论问题，我们的GNN可以从小尺度图训练，但可以很好地推广到大尺度图。对多体物理仿真和基于图像的导航问题的应用具有推广意义。

18. [Poster] Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning（使用关系强化学习实现实用的多对象操纵）

Richard Li, Pulkit Agrawal

摘要：由于对数据的要求过高，使用带有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的。许多实际任务需要操作多个对象，而这些任务的复杂性随着对象数量的增加而增加。从增加对象基数的课程中学习似乎是一种自然的解决方案，但不幸的是，它不适用于许多场景。我们展示了一个基于图的关系体系结构使学习本课程成为可能，并在一个模拟块堆叠任务上演示了我们的方法。尽管使用了逐步稀疏奖励，但与现有的利用人类演示的最新方法相比，我们的方法在数据效率方面高出几个数量级，并且成功率更高。此外，学到的策略具有零样本泛化能力，在无需任何进一步训练的情况下，成功地将积木堆叠成更高的塔和以前未见过的结构，如金字塔。

19. [Poster] Performance Evaluation of Graph Convolutional Networks with Siamese Training for Few-Shot Classification of Nodes（图卷积网络的孪生训练对节点少样本分类的性能评估）

Nichita Uțiu

摘要：孪生网络学习嵌入对嵌入空间施加几何约束，并在单/少样本学习上下文中使用。在本文中，我们将此框架应用于图卷积网络(GCNs)进行了实证研究。我们测试了在节点的单/少样本学习任务中，一些轻量级架构是否比普通多层感知器(MLPs)的性能有所提高。我们证明，在我们的基准测试中，即使使用快速简化的图卷积网络(SGCN)也可以取得良好的性能。

20. [Poster] Scenes and Surroundings: Scene Graph Generation using Relation Transformer（场景和环境：使用关系转换器生成场景图）

Rajat Koner, Poulami Sinhamahapatra, Volker Tresp

摘要：识别图像中的对象以及它们之间的相互关系作为场景图，有助于对图像内容的深刻理解。尽管最近在深度学习方面取得了进步，但是视觉对象关系的检测和标记仍然是一项艰巨的任务。在这项工作中，提出了一种新颖的具有局部上下文意识的关系转换器体系结构，该体系结构还利用了复杂的全局对象到对象以及对象到边缘交互。我们基于分层多头注意力的方法可有效捕获对象之间的依存关系并预测上下文关系。与最先进的方法相比，我们在Visual Genome数据集上的所有场景图生成任务中，总体平均改善了4.85％，并实现了新的基准。

21. [Poster] RNNLogic: Learning Logic Rules for Reasoning on Knowledge Graphs（RNNLogic: 学习知识图推理的逻辑规则）

Meng Qu, Louis-Pascal A.C. Xhonneux, Yoshua Bengio, Jian Tang

摘要：本文研究如何学习知识图推理的逻辑规则。逻辑规则在用于预测和泛化其他任务时提供可解释的解释，因此学习逻辑规则非常重要。现有的方法要么存在在大搜索空间中搜索的问题（例如，神经逻辑编程），要么由于稀疏奖励而无效优化（例如，基于强化学习的技术）。为了解决这些限制，在本文中我们提出一个原则性的概率模型，称为RNNLogic。RNNLogic将逻辑规则视为潜在变量，同时用逻辑规则训练规则生成器和推理预测器。具体地说，EM算法的优化过程如下。在E-step中，规则生成器和推理预测器通过后验推理选择一组高质量的规则，极大地减小了搜索空间；在m步中，规则生成器和推理预测器都用在e步中选择的高质量规则进行更新。在四个基准数据集上的大量实验证明了RNNLogic的有效性。

22. [Poster] Sparse Graph to Sequence Learning for Vision Conditioned Long Textual Sequence Generation（用于视觉条件下长文本序列生成的稀疏图到序列学习）

Aditya Mogadala, Marius Mosbach, Dietrich Klakow

摘要：根据视觉信息生成较长的文本序列是一个值得探索的有趣问题。这里的挑战遍布标准视觉条件句级（例如图像或视频字幕）的生成，因为它需要产生一个简短而连贯的故事来描述视觉内容。在本文中，我们将这种视觉到序列的学习问题视为图到序列的学习问题，并使用Transformer架构来研究它。具体来说，我们引入了稀疏图到序列转换器(SGST)，用于对图进行编码和序列解码。编码器的目的是直接编码图级语义，而译码器是用来产生更长的序列。使用基准图像段落数据集进行的实验表明，与之前的先进方法相比，我们提出的CIDEr评估指标提高了13.3％。

23. [Poster] Understanding Deep Learning with Reasoning Layer（理解具有推理层的深度学习）

Xinshi Chen, Yufei Zhang, Christoph Reisinger, Le Song

摘要：近年来，人们对将深度学习模型与推理结合起来处理复杂学习任务的兴趣大增。在许多情况下，推理任务可以通过迭代算法来解决。该算法具有很强的开放性，并作为深度结构中的一个专门层，可以与其他神经组件进行端到端训练。尽管这样的混合深度架构导致了许多这样的架构在经验上取得了成功，但其理论理解仍在很大程度上未被探索，尤其是算法层和其他神经层之间的相互作用。在本文中，我们通过展示算法层的属性（例如收敛稳定性和敏感性）与端到端模型的逼近和泛化能力密切相关，从而迈出了对此类混合深度架构的理解的第一步。此外，我们的分析与各种条件下的实验观察非常吻合，这表明我们的理论可以为设计具有推理层的深层结构提供有用的指导。

本期责任编辑：杨成

本期编辑：刘佳玮

专知便捷查看