图机器学习趋势？123页ppt《几何深度学习》教程，牛津大学教授Michael Bronstein主讲，附视频

会员服务 ·

图机器学习趋势？123页ppt《几何深度学习》教程，牛津大学教授Michael Bronstein主讲，附视频

2022 年 8 月 10 日 专知

几何在机器学习中变得越来越重要。微分几何和同源场为机器学习研究引入了新的思想，包括利用了对称性和类似于图中的曲率的新等变图神经网络（GNN）架构，以及在深度学习模型中理解和利用不确定性。
消息传递仍然是 GNN 的主导范式。在 2020 年，研究社区意识到了了消息传递 GNN 的不足之处，并寻求这种范式之外的更具表现力的架构。2021 年，很明显，消息传递仍然占据主导地位，因为有的研究工作表明，将 GNN 应用于子图可以获得更好的表达能力。
微分方程催生了新的 GNN 架构。NeuralODE 的趋势扩展到了图机器学习领域。一些工作说明了如何将 GNN 模型形式化定义为连续微分方程的离散形式。在短期内，这些工作将催生新的可以规避 GNN 中的常见问题（如过平滑和过压缩）的架构。从长远来看，我们可能会更好地理解 GNN 的工作原理，以及如何使它们更具表现力和可解释性。
信号处理、神经科学和物理学领域的旧思想焕发了新生。许多研究者认为，图信号处理重新点燃了最近对图机器学习的兴趣，并为该领域提供了第一套分析工具（例如，广义傅里叶变换和图卷积）。表征理论等其它经典信号处理和物理学中的基本技术已经在2021年取得了一些重要进展，并仍有很大的潜力。
为复杂系统建模不仅需要图。2021 年的诺贝尔物理学奖授予 Giorgio Parisi，以表彰他对复杂系统的研究。虽然，这样的系统通常可以被基本地抽象为图。但我们有时必须考虑非成对关系和动态行为等更复杂的结构。2021 年的多项工作讨论了动态关系系统，并展示了如何将 GNN 扩展到高阶结构（如传统上在代数拓扑领域处理的细胞和单纯复杂结构）。我们可能会看到机器学习更多地采用该领域的其它思想。
在图机器学习领域中，推理、公理化和泛化的问题仍然是重要的有待解决的问题。在这一年中，我们看到了受算法推理启发的 GNN 架构的持续进步，以及在图结构任务上更鲁棒的与分布外泛化（OOD）相关的工作。如今，我们有了与广义 Bellman-Ford 算法显式一致的知识图谱推理器，以及利用分布偏移的显式因果模型的图分类器。可以说，这些都是未来具有广阔前景的更鲁棒、更通用的 GNN 的发展方向。在2022年，这其中许多的课题可能将取得很大的进展。
图在强化学习中越来越流行，但可能还有很大的探索空间。也许并不令人意外的是，强化学习中存在许多有关图和对称性的问题（通常在强化学习智能体的结构中，或在对环境的表征中）。2021 年，有一些研究方向试图利用这种结构，并取得了不同程度的成功。我们现在对如何在强化学习中利用这些对称性有了更好的理解（包括在多智能体系统中）。然而，将智能体建模为图似乎不需要严格地使用图结构。尽管如此，我们相信，图和几何赋能的强化学习在 2022 年具有广阔的发展前景。
AlphaFold 2 是几何机器学习领域的重要成果，也是结构生物学领域的范式转变。20 世纪 70 年代，诺贝尔化学奖得主 Christian Anfinsen 提出了预测蛋白质三维折叠结构的可能性。这是一项非常困难的计算任务，是结构生物学领域的「圣杯」。2021年，DeepMind 的 AlphaFold 2 打破了该问题之前的记录，取得了让领域专家们信服的准确率，并得到了广泛的应用。AlphaFold 2 的核心正是一个基于等变注意力机制的几何架构。
GNN 及其与 Transformer 模型的融合助力了药物研发和设计。实际上，GNN 的起源可以追溯到 20 世纪 90 年代的计算化学工作。因此，分子图的分析是最流行的 GNN 应用之一，也就不足为奇了。2021 年，这一领域取得了持续的显著进展，涌现出了数十个新架构和几项超越对比基准的成果。将 Transformer 应用于图数据也取得了巨大的成功，它有望模拟 Transformer 架构在自然语言处理领域成功的关键之处：能够跨任务泛化的大型预训练模型。
人工智能主导的药物发现技术越来越多地使用了几何和图机器学习。AlphaFold 2 和分子图神经网络的成功让人类距离通过人工智能设计新药的梦想更近了一步。Alphabet 的新公司 Isomorphic Labs 标志着工业界「压宝」于这项技术。然而，为了实现这类梦想，对分子间的相互作用建模是必须解决的重要前沿课题。
基于图的方法也助力了量子机器学习。对于机器学习领域的大多数专家来说，量子机器学习仍然是一个神器的小众方向，但随着量子计算硬件的逐渐普及，它很快就成为了现实。Alphabet X 最近的工作显示了图结构归纳偏置在量子机器学习架构中的优势，他们结合了这两个貌似不相关的领域。从长远来看，由于量子物理系统通常拥有丰富而深奥的群对称性，我们可以将这种性质用于量子结构设计，几何可能会扮演更重要的角色。