【CVPR2022】基于节点-邻域互信息最大化的图中节点表示学习

2022 年 3 月 29 日 专知


在CVPR 2022: Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization文章中,作者提出了一种简单有效的自监督节点表示学习策略框架,其通过直接最大化节点及其邻域的隐藏表示之间的互信息,并从理论上可以证明它与图平滑的联系。基于对比学习中的InfoNCE损失函数,文章提出的策略框架可由设计的代理损失函数进行优化,在此正样本的选择对于表示学习的质量和效率至关重要。为了选择高质量的正样本,文章中提出了一种拓扑感知的正样本采样策略,该策略通过考虑节点之间的结构依赖性来对邻域进行正样本采样,且在模型训练之前即可完成采样工作。文章中的采样策略甚至可以从邻域中仅仅采样一个最重要的正样本进行随后的模型训练,在这种极端的采样操作下,文章中的模型完全避免了具有高空间复杂度的邻域聚合算子。文章中的方法在各种节点分类数据集上取得了良好的性能。值得一提的是,将文章中的损失函数应用于基于多层感知机的节点编码器,可以比现有的解决方案快几个数量级。

https://www.zhuanzhi.ai/paper/59e7e99b81f4b39d6c85e36104249c8d


图1 CVPR论文的部分成果展示

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“NMIM” 就可以获取【CVPR2022】基于节点-邻域互信息最大化的图中节点表示学习》专知下载链接

请扫码加入专知人工智能群(长按二维码),或者加专知小助手微信(zhuanzhi02),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG、论文等)交流~

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
0

相关内容

【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
27+阅读 · 2022年2月12日
【AAAI2022】同时适用于同质和异质性的图神经网络
专知会员服务
31+阅读 · 2022年1月3日
CIKM2021 | 用于链接预测的主题感知异质图神经网络
专知会员服务
24+阅读 · 2021年11月3日
专知会员服务
107+阅读 · 2020年12月21日
专知会员服务
43+阅读 · 2020年12月13日
专知会员服务
37+阅读 · 2020年11月24日
专知会员服务
42+阅读 · 2020年7月7日
【ICLR2020-哥伦比亚大学】多关系图神经网络CompGCN
专知会员服务
49+阅读 · 2020年4月2日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
CVPR 2022 | 用于目标检测的双加权标签分配
专知
0+阅读 · 2022年3月26日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【WWW2021】基于知识嵌入的图卷积网络
专知
0+阅读 · 2021年4月27日
【ICLR2021】自监督蒸馏学习视觉表示
专知
1+阅读 · 2021年4月14日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
最新《图嵌入组合优化》综述论文,40页pdf
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
15+阅读 · 2019年4月4日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Arxiv
24+阅读 · 2018年10月24日
VIP会员
相关VIP内容
【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
27+阅读 · 2022年2月12日
【AAAI2022】同时适用于同质和异质性的图神经网络
专知会员服务
31+阅读 · 2022年1月3日
CIKM2021 | 用于链接预测的主题感知异质图神经网络
专知会员服务
24+阅读 · 2021年11月3日
专知会员服务
107+阅读 · 2020年12月21日
专知会员服务
43+阅读 · 2020年12月13日
专知会员服务
37+阅读 · 2020年11月24日
专知会员服务
42+阅读 · 2020年7月7日
【ICLR2020-哥伦比亚大学】多关系图神经网络CompGCN
专知会员服务
49+阅读 · 2020年4月2日
【CVPR2020】L2 ^GCN:图卷积网络的分层学习高效训练
专知会员服务
37+阅读 · 2020年3月31日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员