【ICML2021】GNNAutoScale:通过历史嵌入的可扩展和表达性的图神经网络

我们提出了GNNAutoScale (GAS)，一个扩展任意消息传递GNN到大型图的框架。GAS通过利用之前的训练迭代的历史嵌入来修剪计算图的整个子树，从而在不丢失任何数据的情况下，使输入节点大小的GPU内存消耗保持不变。虽然现有的解决方案由于边缘的子采样或不可训练的传播而削弱了消息传递的表达能力，但我们的方法被证明能够保持原始GNN的表达能力。我们通过提供历史嵌入的近似误差边界来实现这一点，并展示了如何在实践中加强它们。经验表明，我们的框架PyGAS (PYTORCH geometry 的一个易于使用的扩展)的实际实现是既快速又内存效率高的，学习表现性节点表示，其性能与非扩展对应的性能非常相似，并在大规模图上达到了最先进的性能。

https://arxiv.org/abs/2106.05609