【中山大学&腾讯等】可靠图深度学习的最新进展:对抗攻击、固有噪声和分布转移

2022 年 3 月 15 日 专知

摘要：

 
    图深度学习 (Deep Graph Learning, DGL) 在商业和科学领域，包括金融、电子商务到药物和先进材料发现等应用取得了显著的进展。尽管取得了瞩目进展，但将DGL应用到实际场景中仍面临一系列的可靠性威胁，包括数据固有噪声(inherent noise)，分布偏移(distribution shift) 和对抗攻击(adversarial attack)。具体来说，数据固有噪声是指图结构、节点属性和节点/图标签中与生俱来的噪声。分布偏移指的是训练和测试数据分布之间的偏移和不一致，包括领域泛化和子群偏移。对抗攻击是一种操纵性的人为手段，目的是造成模型的错误行为，典型例子包括对抗样本和后门触发器。本综述旨在提供一个关于DGL的可靠性研究最新进展的全面回顾。与之前主要关注对抗攻击和防御的相关综述相比，我们的综述涵盖了DGL的更多可靠性相关方面，即数据固有噪声和分布偏移。此外，我们还讨论了上述各方面的关系，并指出了未来研究中需要探索的一些重要问题。
https://www.zhuanzhi.ai/paper/c3f2da099c06fba725a9c78bac53ee4a

近年来，基于图神经网络(GNNs)的深度图学习(DGL)在许多重要领域都取得了显著进展，从金融等商业场景(如欺诈检测和信用建模)[Dou et al., 2020; Yang et al., 2020]和电子商务(如推荐系统)[Wu et al., 2021a]，到诸如药物发现和先进材料发现等科学领域[Guo et al., 2021; Wu et al., 2017]。尽管取得了进步，但将各种DGL算法应用到实际应用中仍面临一系列的可靠性威胁。在较高的层次上，我们将这些威胁分为三个方面，即固有噪声、分布转移和对抗性攻击。具体来说，固有噪声是指图结构、节点属性和节点/图标签中的不可约噪声。分布转移是指训练分布和测试分布之间的转移，包括域泛化和子种群转移。对抗性攻击是一种操纵性的人类行为，旨在通过精心设计的模式或对原始数据的扰动导致模型的不当行为。典型的例子包括对抗性样本[Zugner¨et al.， 2018]和后门触发器[Xi et al.， 2021]。

图1显示了在一个典型的深度图学习流程中不同的威胁是如何发生的。作为对比,固有噪声或分布偏移通常发生在数据生成过程中，这是由于采样偏差或环境噪声造成的，而非人为故意设计的，而对抗性攻击则是在数据生成阶段之后由恶意攻击者故意设计的(更多差异见第5节)。

表1进一步给出了形式化描述对每种威胁进行分析，并总结出一些典型的相关工作。针对上述威胁，从优化策略设计、不确定性量化等不同角度提高DGL算法的可靠性出现了大量工作。在本综述中，我们探讨了这一研究方向的最新进展。具体而言，本次综述的组织方式如下: 首先从固有噪声、分布偏移和对抗性攻击三个方面回顾了近年来的工作。对于每个方面，我们首先总结现有的威胁(例如，各种对抗性攻击)。然后，我们介绍了用于DGL的典型可靠性增强技术，并讨论了它们的局限性。最后，讨论了上述三个方面的关系，并阐述了一些有待解决的重要开放研究问题。