Graph-level representation learning is the pivotal step for downstream tasks that operate on the whole graph. The most common approach to this problem heretofore is graph pooling, where node features are typically averaged or summed to obtain the graph representations. However, pooling operations like averaging or summing inevitably cause massive information missing, which may severely downgrade the final performance. In this paper, we argue what is crucial to graph-level downstream tasks includes not only the topological structure but also the distribution from which nodes are sampled. Therefore, powered by existing Graph Neural Networks (GNN), we propose a new plug-and-play pooling module, termed as Distribution Knowledge Embedding (DKEPool), where graphs are rephrased as distributions on top of GNNs and the pooling goal is to summarize the entire distribution information instead of retaining a certain feature vector by simple predefined pooling operations. A DKEPool network de facto disassembles representation learning into two stages, structure learning and distribution learning. Structure learning follows a recursive neighborhood aggregation scheme to update node features where structure information is obtained. Distribution learning, on the other hand, omits node interconnections and focuses more on the distribution depicted by all the nodes. Extensive experiments demonstrate that the proposed DKEPool significantly and consistently outperforms the state-of-the-art methods.


翻译:图形级代表制学习是整个图示中下游任务的关键步骤。 因此, 最常见的方法是图形集用, 其节点特征通常被平均或汇总, 以获得图形显示。 然而, 平均或打字等集用操作不可避免地导致大量信息缺失, 这可能会严重降低最后性能。 在本文中, 我们争论对图形级下游任务至关重要的不仅是表层结构, 也包括用于抽样的节点分布。 因此, 由现有的图形神经网络( GNNN) 授权, 我们提议一个新的插接和播放集合模块, 称为“ 分布知识嵌入” (DKEPool), 将图形重新表述为 GNNP 顶部的分布, 而集合目标是总结整个分布信息, 而不是通过简单定义的集合操作保留某个特性矢量。 DKEPool 网络事实上的分解表达方式正在学习两个阶段, 结构学习和分布学习。 结构学习遵循一个连结社区组合计划, 以更新结构信息获取的节点特征。 分配学习过程在另一手上进行, 持续地展示不重复的配置,, 将所有扩展式的配置式分析, 并展示所有扩展式的配置式, 演示式的配置式,, 以演示式的配置式的配置式的配置式的模型,, 将所有驱动式的配置式的配置式的配置式的配置式的配置式式, 将所有驱动式的模型, 。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【图与几何深度学习】Graph and geometric deep learning,49页ppt
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
学术会议 | 知识图谱顶会 ISWC 征稿:Poster/Demo
开放知识图谱
5+阅读 · 2019年4月16日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
13+阅读 · 2019年11月14日
Graph Analysis and Graph Pooling in the Spatial Domain
A Graph Auto-Encoder for Attributed Network Embedding
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
3+阅读 · 2019年3月26日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
7+阅读 · 2018年8月21日
VIP会员
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
学术会议 | 知识图谱顶会 ISWC 征稿:Poster/Demo
开放知识图谱
5+阅读 · 2019年4月16日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
相关论文
已删除
Arxiv
32+阅读 · 2020年3月23日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
13+阅读 · 2019年11月14日
Graph Analysis and Graph Pooling in the Spatial Domain
A Graph Auto-Encoder for Attributed Network Embedding
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
3+阅读 · 2019年3月26日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
7+阅读 · 2018年8月21日
Top
微信扫码咨询专知VIP会员