Recently, maximizing mutual information has emerged as a powerful method for unsupervised graph representation learning. The existing methods are typically effective to capture information from the topology view but ignore the feature view. To circumvent this issue, we propose a novel approach by exploiting mutual information maximization across feature and topology views. Specifically, we first utilize a multi-view representation learning module to better capture both local and global information content across feature and topology views on graphs. To model the information shared by the feature and topology spaces, we then develop a common representation learning module using mutual information maximization and reconstruction loss minimization. To explicitly encourage diversity between graph representations from the same view, we also introduce a disagreement regularization to enlarge the distance between representations from the same view. Experiments on synthetic and real-world datasets demonstrate the effectiveness of integrating feature and topology views. In particular, compared with the previous supervised methods, our proposed method can achieve comparable or even better performance under the unsupervised representation and linear evaluation protocol.


翻译:最近,将相互信息最大化作为不受监督的图表代表性学习的有力方法已经出现。现有方法通常有效,可以捕捉从地形学角度收集信息,但忽略特征观点。为回避这一问题,我们提议采用新颖的方法,利用不同特征和地形学观点的相互信息最大化。具体地说,我们首先使用多视角代表性学习模块,更好地捕捉不同特征和地形学观点的当地和全球信息内容。为模拟特征和地形学空间共享的信息,我们随后利用相互信息最大化和重建损失最小化开发一个共同代表性学习模块。为了明确鼓励同一观点的图表表达形式的多样性,我们还引入了一种分歧规范化,以扩大同一观点代表之间的距离。合成和真实世界数据集实验显示了整合特征观点和地形学观点的有效性。特别是,与以往监督的方法相比,我们提出的方法可以在非超强代表度和线性评估协议下实现可比甚至更好的业绩。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
vae 相关论文 表示学习 2
CreateAMind
6+阅读 · 2018年9月9日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
0+阅读 · 2021年7月2日
Arxiv
13+阅读 · 2019年11月14日
Arxiv
8+阅读 · 2014年6月27日
VIP会员
相关VIP内容
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
Top
微信扫码咨询专知VIP会员