GCN如何并行化？分布式图卷积神经网路，13页pdf

这项工作的目标是研发一个训练图卷积网络(GCNs)的完全分布式算法框架。该方法能够利用输入数据的有意义的关系结构，这些数据是由一组代理收集的，这些代理通过稀疏网络拓扑进行通信。在阐述了集中的GCN训练问题之后，我们首先展示如何在底层数据图在不同代理之间分割的分布式场景中进行推理。然后，我们提出了一个分布式梯度下降方法来解决GCN训练问题。得到的模型沿着三条线分布计算:推理、反向传播和优化。在温和的条件下，也建立了GCN训练问题对平稳解的收敛性。最后，我们提出了一个优化准则来设计代理之间的通信拓扑，以匹配描述数据关系的图。大量的数值结果验证了我们的想法。据我们所知，这是第一个将图卷积神经网络与分布式优化相结合的工作。

https://www.zhuanzhi.ai/paper/8a4718497597c36257418a3dd85639f4