【ICML2021】图神经网络优化：通过跳过连接和更多深度隐含加速

GNN的表示能力和泛化能力得到了广泛的研究。但是，它们的优化其实研究的很少。通过研究GNN的梯度动力学，我们迈出分析GNN训练的第一步。具体来说，首先，我们分析线性化（linearized）的GNN，并证明了：尽管它的训练不具有凸性，但在我们通过真实图验证的温和假设下，可以保证以线性速率收敛到全局最小值。其次，我们研究什么会影响GNN的训练速度。我们的结果表明，通过跳过（skip）连接，更深的深度和/或良好的标签分布，可以隐式地加速GNN的训练。实验结果证实，我们针对线性GNN的理论结果与非线性GNN的训练行为一致。我们的结果在优化方面为具有跳过连接的GNN的成功提供了第一个理论支持，并表明具有跳过连接的深层GNN在实践中将很有希望。

https://www.zhuanzhi.ai/paper/609aef10a18ac8eb66f1d1873c8ec445