【NeurIPS 2021 】 学习理论(有时)可以解释图神经网络中的泛化

近年来，监督学习设置的几个结果表明，经典的统计学习理论度量，如VC维，不能充分解释深度学习模型的性能，这促使大量工作在无限宽和迭代机制。然而，对于神经网络在监督设置之外的成功，几乎没有理论解释。本文认为，在一些分布假设下，经典学习理论测度可以充分解释图神经网络在转导环境下的泛化问题。特别是，我们提供了一个严格的分析神经网络在转导推理的背景下的性能，特别是通过分析图卷积网络的泛化性质的节点分类问题。虽然VC维在这种情况下也会导致微不足道的泛化误差边界，但我们表明，转换的Rademacher复杂性可以解释随机块模型的图卷积网络的泛化特性。我们进一步使用基于转导Rademacher复杂性的泛化误差边界来演示图卷积和网络架构在实现更小的泛化误差方面的作用，并提供关于何时图结构可以帮助学习的见解。这篇论文的发现可以重新激发人们在学习理论测量方面研究神经网络泛化的兴趣，尽管是在具体的问题上。

https://www.zhuanzhi.ai/paper/8dbc5b521467d7c686543811a6d386eb