图神经网络(GNN)是在机器学习中利用图结构数据的强大工具。图形是一种灵活的数据结构,可以为许多不同类型的关系建模,并已被用于各种应用,如交通预测、谣言和假新闻检测、疾病传播建模,以及理解为什么分子有气味。

作为机器学习(ML)的标准,GNN假设训练样本是均匀随机选择的(即,是一个独立的、同分布的或“IID”样本)。对于标准的学术数据集来说,这很容易做到,这些数据集是专门为研究分析而创建的,因此每个节点都已经标记好了。然而,在许多现实世界的场景中,数据没有标签,而对数据进行标签可能是一个涉及熟练的人员的繁重过程,这使得对所有节点进行标签变得困难。此外,有偏差的训练数据是一个常见的问题,因为选择节点进行标注的行为通常不是IID。例如,有时会使用固定的启发式来选择数据子集(共享一些特征)进行标记,而其他时候,人类分析人员会使用复杂的领域知识单独选择数据项进行标记。

为了量化训练集中出现的偏差量,可以使用测量两个不同概率分布之间的偏移有多大的方法,其中偏移的大小可以被认为是偏差量。随着迁移规模的增大,机器学习模型更难从有偏训练集推广。这种情况可能会严重损害泛化性——在学术数据集上,我们已经观察到领域的转移导致了15-20%的性能下降(以F1分数衡量)。

在NeurIPS 2021会议上发表的“位移鲁棒GNN:克服局部化图训练数据的局限性”中,我们介绍了在有偏数据上使用GNN的解决方案。该方法被称为移位鲁棒GNN (SR-GNN),旨在考虑有偏训练数据和图的真实推理分布之间的分布差异。SR-GNN使GNN模型适应于标记为训练的节点和数据集的其余部分之间的分布转移的存在。我们在半监督学习的常见GNN基准数据集上使用有偏训练数据集进行的各种实验中说明了SR-GNN的有效性,并表明SR-GNN在准确性方面优于其他GNN基准,将有偏训练数据的负面影响减少了30-40%。

成为VIP会员查看完整内容
37

相关内容

【NeurIPS2020】点针图网络,Pointer Graph Networks
专知会员服务
39+阅读 · 2020年9月27日
【KDD2020-Google】动态图设计的图学习
专知会员服务
34+阅读 · 2020年7月28日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
145+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
谷歌NIPS'21 | 如何让图神经网络更稳健?
图与推荐
1+阅读 · 2022年3月22日
ArXiv2021 | Customized Graph Neural Networks
图与推荐
1+阅读 · 2021年12月27日
图神经网络遇到OOD的泛化性咋样?
图与推荐
0+阅读 · 2021年12月9日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Pre-Training on Dynamic Graph Neural Networks
Arxiv
1+阅读 · 2022年4月18日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
15+阅读 · 2020年2月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
23+阅读 · 2018年10月24日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
相关论文
Pre-Training on Dynamic Graph Neural Networks
Arxiv
1+阅读 · 2022年4月18日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
15+阅读 · 2020年2月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
23+阅读 · 2018年10月24日
微信扫码咨询专知VIP会员