近年来,基于异构信息网络(HINs)的自监督预训练方法与传统的半监督异构图神经网络(HGNNs)相比显示出了良好的竞争力。不幸的是,它们的性能严重依赖于精心定制各种策略,以生成高质量的正例和反例,这明显限制了它们的灵活性和泛化能力。在这项工作中,我们提出了一种新的自监督异构图预训练方法SHGP,它不需要生成任何正例或负例。它由两个共享相同注意力聚合方案的模块组成。在每次迭代中,Att-LPA模块通过结构聚类产生伪标签,这些伪标签作为自我监督信号,指导Att-HGNN模块学习对象嵌入和注意系数。这两个模块可以有效地相互利用和增强,促进模型学习判别嵌入。在四个真实数据集上的大量实验证明了SHGP对最先进的无监督基线甚至半监督基线的优越有效性。我们在https://github.com/kepsail/SHGP发布源代码。

成为VIP会员查看完整内容
23

相关内容

【NeurIPS2022】几何知识蒸馏:图神经网络的拓扑压缩
专知会员服务
24+阅读 · 2022年11月9日
【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
26+阅读 · 2022年10月23日
NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
17+阅读 · 2022年10月13日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【NeurIPS2021】任务导向的无监督域自适应
专知会员服务
16+阅读 · 2021年11月20日
专知会员服务
40+阅读 · 2021年5月24日
专知会员服务
39+阅读 · 2021年4月5日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
【NeurIPS2022】基于最大熵编码的自监督学习
NeurIPS 2022 | 基于精确差异学习的图自监督学习
PaperWeekly
0+阅读 · 2022年10月22日
NeurIPS 2022|图对比学习的结构公平性初探
PaperWeekly
0+阅读 · 2022年10月17日
NeurIPS2022|图对比学习的结构公平性初探
专知
0+阅读 · 2022年10月16日
KDD2022 | 基于自监督超图Transformer的推荐算法研究
机器学习与推荐算法
1+阅读 · 2022年8月26日
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
14+阅读 · 2021年8月5日
VIP会员
相关VIP内容
【NeurIPS2022】几何知识蒸馏:图神经网络的拓扑压缩
专知会员服务
24+阅读 · 2022年11月9日
【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
26+阅读 · 2022年10月23日
NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
17+阅读 · 2022年10月13日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【NeurIPS2021】任务导向的无监督域自适应
专知会员服务
16+阅读 · 2021年11月20日
专知会员服务
40+阅读 · 2021年5月24日
专知会员服务
39+阅读 · 2021年4月5日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员