【NeurIPS2022】基于结构聚类的自监督异构图预训练

2022 年 10 月 20 日 专知

近年来,基于异构信息网络(HINs)的自监督预训练方法与传统的半监督异构图神经网络(HGNNs)相比显示出了良好的竞争力。不幸的是,它们的性能严重依赖于精心定制各种策略,以生成高质量的正例和反例,这明显限制了它们的灵活性和泛化能力。在这项工作中,我们提出了一种新的自监督异构图预训练方法SHGP,它不需要生成任何正例或负例。它由两个共享相同注意力聚合方案的模块组成。在每次迭代中,Att-LPA模块通过结构聚类产生伪标签,这些伪标签作为自我监督信号,指导Att-HGNN模块学习对象嵌入和注意系数。这两个模块可以有效地相互利用和增强,促进模型学习判别嵌入。在四个真实数据集上的大量实验证明了SHGP对最先进的无监督基线甚至半监督基线的优越有效性。我们在https://github.com/kepsail/SHGP发布源代码。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“SHGP” 就可以获取【NeurIPS2022】基于结构聚类的自监督异构图预训练》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料

登录查看更多
1

相关内容

【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
23+阅读 · 2022年6月10日
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
25+阅读 · 2021年9月10日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
37+阅读 · 2021年5月28日
专知会员服务
40+阅读 · 2021年5月24日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
39+阅读 · 2021年4月5日
【NeurIPS2022】具有自适应读出的图神经网络
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
【ICML2022】时序自监督视频transformer
专知
1+阅读 · 2022年7月28日
【KDD2022】GraphMAE:自监督掩码图自编码器
专知
7+阅读 · 2022年6月12日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
14+阅读 · 2021年8月5日
Interest-aware Message-Passing GCN for Recommendation
Arxiv
12+阅读 · 2021年2月19日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
15+阅读 · 2019年4月4日
VIP会员
相关VIP内容
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
23+阅读 · 2022年6月10日
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
25+阅读 · 2021年9月10日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
37+阅读 · 2021年5月28日
专知会员服务
40+阅读 · 2021年5月24日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
39+阅读 · 2021年4月5日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员