【博士论文】图神经网络算法推理，135页pdf

人工智能系统开发具备高级推理能力是一个持续存在且长期的研究问题。传统上，解决这一挑战的主要策略涉及采用符号方法，其中知识通过符号明确表示，并通过明确编程的规则来实现。然而，随着机器学习的出现，系统向能够自主从数据中学习、需要最小人类指导的方向发生了范式转移。鉴于这一转变，近年来，越来越多的兴趣和努力被投入到赋予神经网络推理能力上，以弥合数据驱动学习与逻辑推理之间的差距。在这一背景下，神经算法推理（NAR）作为一个有希望的研究领域脱颖而出，旨在将算法的结构化和基于规则的推理与神经网络的自适应学习能力整合起来，通常通过让神经模型模仿经典算法来实现。在这篇论文中，我们对这一研究领域提供了理论和实践上的贡献。我们探索了神经网络与热带代数之间的联系，推导出与算法执行对齐的强大架构。此外，我们讨论并展示了这样的神经推理器学习和操纵复杂的算法和组合优化概念的能力，如强对偶性原理。最后，在我们的实证努力中，我们验证了NAR网络在不同实际场景中的实际用途。这包括任务多样化，如规划问题、大规模边缘分类任务以及学习NP-hard组合问题的多项式时间近似算法。通过这一探索，我们旨在展示在机器学习模型中整合算法推理潜力。

https://arxiv.org/abs/2402.13744 本论文旨在探索神经算法推理器的潜力，特别是关于它们学习执行经典算法的能力以及使用训练有素的算法推理器作为相关下游任务的归纳先验的有效性。 本论文的主要贡献旨在解决这两个研究问题，特别是在图的背景下，鉴于许多感兴趣的经典算法是为结构化数据开发和设计的（Cormen et al., 2009）。此外，我们将寻求从理论和实证的视角提供前述问题的证据。 为了解决关于经典算法可学习性的问题，我们提出了一个理论框架，将图、神经网络和热带代数（Landolfi et al., 2023）之间的联系绘制出来。在这个设置中，将建立算法（特别是动态规划算法）与神经网络之间的等价性。我们还将展示如何基于这种联系派生出适合学习算法的强大神经网络架构。 跳出动态规划算法的背景，我们提议通过对偶性学习算法（Numeroso et al., 2023），有效地展示我们如何借鉴与算法相关的各个领域的概念，如组合优化，以增强将算法推理编码到神经网络中的程度。这一贡献也作为使用算法作为归纳先验可以帮助更准确地解决标准机器学习任务的第一个实际示例。 在此基础上，我们提出了两个更多的贡献：一个学习规划问题一致性启发式函数的算法推理器（Numeroso et al., 2022）；以及一个关于将算法知识转移到NP-hard组合优化问题的有效性的广泛研究（Georgiev et al., 2023）。 此外，作为一个附加目标，本论文还努力作为神经算法推理世界的入门指南，特别是通过其第三章，为那些不熟悉NAR的人量身定做。