【NeurIPS2022】图谱视角下的图对比学习

2022 年 10 月 9 日 专知


题目:Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum


作者:Nian Liu, Xiao Wang, Deyu Bo, Chuan Shi, Jian Pei

图对比学习(GCL)旨在通过增广原始图学得节点表征,目前已得到广泛关注。尽管图增广技术已经得到了很大发展,一些基本问题仍未解决:GCL本质上编码了怎样的信息?不同增广背后是否有统一的准则?如果有,是什么样的准则?这些准则又能带给我们怎样的认知?在本文中,我们通过建立GCL和图谱之间的关系来回答上述问题。通过谱域中的一个实验研究,我们首先发现了GCL的一般增广准则(GAME准则),即两个增广图间,高频部分的差异要大于低频部分的差异。这个准则揭示了图对比学习的本质,让我们能回顾当前图增广机制并以此设计新的图增广策略。之后,我们提出对比不变理论,证明GCL能够学得对比视图间的不变信息。结合GAME准则,我们首次揭示了通过GCL学得的表征本质上编码了低频信息,解释了GCL为什么有效。依据该准则,我们提出插件式的谱图对比学习模型(SpCo),并与当前不同的GCL模型相结合,充分验证了模型的有效性。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GCLS” 就可以获取【NeurIPS2022】图谱视角下的图对比学习》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
3

相关内容

【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
17+阅读 · 2022年10月13日
【NeurIPS2022】VICRegL:局部视觉特征的自监督学习
专知会员服务
31+阅读 · 2022年10月6日
【ICML2022】基于元语义正则化的介入性对比学习
专知会员服务
20+阅读 · 2022年7月1日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
13+阅读 · 2022年5月4日
【AAAI2022】利用化学元素知识图谱进行分子对比学习
专知会员服务
27+阅读 · 2021年12月3日
【NeurIPS2021】InfoGCL:信息感知图对比学习
专知会员服务
36+阅读 · 2021年11月1日
专知会员服务
25+阅读 · 2021年10月20日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
【NeurIPS2022】基于最大熵编码的自监督学习
NeurIPS 2022|图对比学习的结构公平性初探
PaperWeekly
0+阅读 · 2022年10月17日
NeurIPS2022|图对比学习的结构公平性初探
专知
0+阅读 · 2022年10月16日
【ICLR2022-MIT】图关系域适应
专知
1+阅读 · 2022年2月9日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
13+阅读 · 2022年1月20日
VIP会员
相关VIP内容
【NeurIPS2022】基于结构聚类的自监督异构图预训练
专知会员服务
23+阅读 · 2022年10月20日
NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
17+阅读 · 2022年10月13日
【NeurIPS2022】VICRegL:局部视觉特征的自监督学习
专知会员服务
31+阅读 · 2022年10月6日
【ICML2022】基于元语义正则化的介入性对比学习
专知会员服务
20+阅读 · 2022年7月1日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
13+阅读 · 2022年5月4日
【AAAI2022】利用化学元素知识图谱进行分子对比学习
专知会员服务
27+阅读 · 2021年12月3日
【NeurIPS2021】InfoGCL:信息感知图对比学习
专知会员服务
36+阅读 · 2021年11月1日
专知会员服务
25+阅读 · 2021年10月20日
【NeurIPS2020 】 数据扩充的图对比学习
专知会员服务
48+阅读 · 2020年11月9日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员