【牛津大学博士论文】图神经网络鲁棒机器学习，173页pdf

为了在关键安全领域如医疗或自动驾驶中应用神经网络，我们需要能够分析它们对抗对抗性攻击的鲁棒性。这些攻击通过添加小的、精心选择的扰动来扰乱自然图像，这些扰动对人眼来说几乎是察觉不到的。训练有素的神经网络尽管在训练和验证准确度很高，但经常会错误分类许多这些受扰动的图像。在本论文中，我们提出了几种新方法，旨在分析训练有素的神经网络对抗对抗性攻击的鲁棒性。

在第一部分中，我们改进了现有方法以更高效地生成对抗性样本。我们注意到，过去在这一领域的工作依赖于忽略问题和数据固有结构的优化方法，或完全依赖于学习且经常无法生成难以找到的对抗性样本的生成方法。为了缓解这些不足，我们提出了一种基于图神经网络（GNN）的新型独立攻击，它利用了这两种方法的优点。我们的GNN计算下降方向以指导迭代程序生成对抗性样本。

我们的下一个贡献灵感来源于观察到许多最先进的对抗性攻击需要多次随机重启才能生成对抗性样本。每次执行重启时，我们都忽略了之前所有不成功的尝试。为了缓解这一不足，我们提出了一种从错误中学习的方法。具体来说，我们的方法使用GNN作为注意力机制，大大减少了未来攻击迭代的搜索空间。 对于我们的最后一个贡献，我们注意到即使存在对抗性样本，对抗性攻击也可能失败。因此，我们关注形式化的完整神经网络验证，它返回一个声音完整的鲁棒性证明。近年来，分支定界（BaB）框架已经被用于深度学习的形式验证。BaB的主要计算瓶颈是下界的估计。以往在这一领域的工作依赖于传统的优化算法，其效率不足已限制了它们的应用范围。为了缓解这一不足，我们提出了一种基于图神经网络的新方法。我们的GNN旨在计算凸松弛的对偶解决方案，从而提供一个有效的下界，如果为正，则证明了鲁棒性。