图卷积网络(GCN)的原始设计将特征转换和邻域聚合结合起来用于节点表示学习。最近,一些研究表明耦合不如解耦,它更好地支持深度图传播,已成为GCN的最新范式(如APPNP[16]和SGCN[32])。尽管有效,解耦的GCN的工作机制并没有被很好地理解。

本文从标签传播的新视角出发,探讨了半监督节点分类的解耦GCN。解耦图神经网络(decoupled GCN)已经成为图神经网络主流的设计范式,其将特征变换和邻居聚合分离开来,克服了原始图神经网络的诸多问题,取得了更好的效果。我们从梯度的角度发现,解耦图卷积网络和两步的标签传播(Label Propagation, LP)是等价的:(1)根据图结构传播已知的标签,为有标签节点的邻居打上标签;(2)利用增强的伪标签数据训练一个正常的神经网络分类器。 基于理论分析,我们发现解耦图卷积网络的缺点:(1)对标签噪声敏感;(2)对初始值敏感。为此,我们提出自适应地传播再训练(PTA),通过两个设计解决了上述问题:(1)去除权重对标签的初始化;(2)引入自适应因子。

成为VIP会员查看完整内容
27

相关内容

专知会员服务
68+阅读 · 2021年4月27日
专知会员服务
29+阅读 · 2021年2月26日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
44+阅读 · 2021年2月1日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
58+阅读 · 2021年1月6日
专知会员服务
107+阅读 · 2020年12月21日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知会员服务
39+阅读 · 2020年8月26日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
72+阅读 · 2020年6月1日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
图神经网络时代的深度聚类
图与推荐
5+阅读 · 2020年5月16日
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
65+阅读 · 2020年2月27日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
相关VIP内容
专知会员服务
68+阅读 · 2021年4月27日
专知会员服务
29+阅读 · 2021年2月26日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
44+阅读 · 2021年2月1日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
58+阅读 · 2021年1月6日
专知会员服务
107+阅读 · 2020年12月21日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知会员服务
39+阅读 · 2020年8月26日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【SIGIR2020】LightGCN: 简化和增强图卷积网络推荐
专知会员服务
72+阅读 · 2020年6月1日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
相关资讯
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
图神经网络时代的深度聚类
图与推荐
5+阅读 · 2020年5月16日
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
65+阅读 · 2020年2月27日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
微信扫码咨询专知VIP会员