这项工作的目标是研发一个训练图卷积网络(GCNs)的完全分布式算法框架。该方法能够利用输入数据的有意义的关系结构,这些数据是由一组代理收集的,这些代理通过稀疏网络拓扑进行通信。在阐述了集中的GCN训练问题之后,我们首先展示如何在底层数据图在不同代理之间分割的分布式场景中进行推理。然后,我们提出了一个分布式梯度下降方法来解决GCN训练问题。得到的模型沿着三条线分布计算:推理、反向传播和优化。在温和的条件下,也建立了GCN训练问题对平稳解的收敛性。最后,我们提出了一个优化准则来设计代理之间的通信拓扑,以匹配描述数据关系的图。大量的数值结果验证了我们的想法。据我们所知,这是第一个将图卷积神经网络与分布式优化相结合的工作。

https://www.zhuanzhi.ai/paper/8a4718497597c36257418a3dd85639f4

成为VIP会员查看完整内容
33

相关内容

最新《深度持续学习》综述论文,32页pdf
专知会员服务
176+阅读 · 2020年9月7日
最新《图嵌入组合优化》综述论文,40页pdf
专知会员服务
73+阅读 · 2020年8月31日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
33+阅读 · 2020年6月27日
【MIT-ICML2020】图神经网络的泛化与表示的局限
专知会员服务
41+阅读 · 2020年6月23日
最新《深度学习行人重识别》综述论文,24页pdf
专知会员服务
80+阅读 · 2020年5月5日
GraphSAGE: GCN落地必读论文
AI100
29+阅读 · 2019年8月15日
【泡泡图灵智库】GCNv2:高效关联预测实时SLAM(arXiv)
泡泡机器人SLAM
44+阅读 · 2019年4月15日
Tensorflow框架是如何支持分布式训练的?
AI100
9+阅读 · 2019年3月26日
【泡泡图灵智库】数据高效利用的分布式视觉SLAM(ICRA)
泡泡机器人SLAM
7+阅读 · 2018年11月15日
知识图和神经网络:如何有效读取图节点属性
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
9+阅读 · 2017年6月8日
Arxiv
18+阅读 · 2020年7月13日
Arxiv
33+阅读 · 2020年1月2日
Arxiv
19+阅读 · 2019年11月23日
Graph Analysis and Graph Pooling in the Spatial Domain
VIP会员
微信扫码咨询专知VIP会员