异构网络的表示学习方法为每个节点产生一个低维向量嵌入,通常在所有涉及节点的任务中都是固定的。许多现有的方法关注于以一种与下游应用程序无关的方式获取节点的静态向量表示。然而,在实践中,下游任务(如链接预测)需要特定的上下文信息,这些信息可以从与节点相关的子图中提取出来,作为任务的输入。为了解决这一挑战,我们提出了SLiCE,这是一个使用整个图的全局信息和局部注意驱动机制来学习上下文节点表示的静态表示学习方法的框架。我们首先通过引入高阶语义关联和屏蔽节点以自监督的方式预训练我们的模型,然后针对特定的链接预测任务微调我们的模型。我们不再通过聚合所有通过元路径连接的语义邻居的信息来训练节点表示,而是自动学习不同元路径的组合,这些元路径表征了特定任务的上下文,而不需要任何预先定义的元路径。SLiCE在几个公开可用的基准网络数据集上显著优于静态和上下文嵌入学习方法。通过广泛的评价,我们也证明了上下文学习的可解释性、有效性和SLiCE的可扩展性。

成为VIP会员查看完整内容
0
32

相关内容

在计算机网络中,异构网络是一种连接计算机和其他设备的网络,其中操作系统和协议有显著差异。例如,将基于微软Windows和Linux的个人计算机与苹果Macintosh计算机连接起来的局域网(LANs)是异构的。异构网络也被用于使用不同接入技术的无线网络中。例如,通过无线局域网提供服务并在切换到蜂窝网络时能够维持服务的无线网络称为无线异构网络。

图神经网络最近的成功极大地促进了分子性质的预测,促进了药物发现等活动。现有的深度神经网络方法通常对每个属性都需要大量的训练数据集,在实验数据量有限的情况下(特别是新的分子属性)会影响其性能,这在实际情况中是常见的。为此,我们提出了Meta-MGNN,一种新颖的预测少样本分子性质的模型。Meta-MGNN应用分子图神经网络学习分子表示,建立元学习框架优化模型。为了挖掘未标记的分子信息,解决不同分子属性的任务异质性,Meta-MGNN进一步将分子结构、基于属性的自监督模块和自关注任务权重整合到Meta-MGNN框架中,强化了整个学习模型。在两个公共多属性数据集上进行的大量实验表明,Meta-MGNN优于各种最先进的方法。

https://arxiv.org/abs/2102.07916

成为VIP会员查看完整内容
0
31

https://www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4

消息传递图神经网络(GNNs)为关系数据提供了强大的建模框架。曾经,现有GNN的表达能力上界取决于1- Weisfeiller -Lehman (1-WL)图同构测试,这意味着gnn无法预测节点聚类系数和最短路径距离,无法区分不同的d-正则图。在这里,我们提出了一类传递消息的GNN,称为身份感知图神经网络(ID- GNNs),具有比1-WL测试更强的表达能力。ID-GNN为现有GNN的局限性提供了一个最小但强大的解决方案。ID-GNN通过在消息传递过程中归纳地考虑节点的身份来扩展现有的GNN体系结构。为了嵌入一个给定的节点,IDGNN首先提取以该节点为中心的自我网络,然后进行轮次异构消息传递,中心节点与自我网络中其他周围节点应用不同的参数集。我们进一步提出了一个简化但更快的ID-GNN版本,它将节点标识信息作为增强节点特征注入。总之,ID-GNN的两个版本代表了消息传递GNN的一般扩展,其中实验表明,在具有挑战性的节点、边缘和图属性预测任务中,将现有的GNN转换为ID-GNN平均可以提高40%的准确率;结点和图分类在基准测试上提高3%精度;在实际链路预测任务提高15%的ROC AUC。此外,与其他特定于任务的图网络相比,ID- GNN表现出了更好的或相当的性能。

成为VIP会员查看完整内容
0
28

在点击率(CTR)预测场景中,用户的序列行为被很好地利用来捕捉用户的兴趣。然而,尽管这些顺序方法得到了广泛的研究,但仍然存在三个局限性。首先,现有的方法大多是利用对用户行为的关注,并不总是适合于点击率预测,因为用户经常会点击与任何历史行为无关的新产品。其次,在真实的场景中,有许多用户在很久以前就有操作,但在最近变得相对不活跃。因此,很难通过早期的行为准确地捕捉用户当前的偏好。第三,用户历史行为在不同特征子空间中的多重表示在很大程度上被忽略。为了解决这些问题,我们提出了一种多交互关注网络(Multi-Interactive Attention Network, MIAN)来全面提取用户档案中各种细粒度特征(如性别、年龄和职业)之间的潜在关系。具体来说,MIAN包含一个多交互层(MIL),该层集成了三个本地交互模块,通过顺序行为捕获用户偏好的多种表示,同时利用细粒度的用户特定信息和上下文信息。此外,我们设计了一个全局交互模块(GIM)来学习高阶交互并平衡多个特征的不同影响。最后,在3个数据集上进行离线实验,并在一个大规模推荐系统中进行在线A/B测试,验证了本文方法的有效性。

https://www.zhuanzhi.ai/paper/2aac834293c05622fe4cb37096525879

成为VIP会员查看完整内容
0
19

从异步视频面试(AVI)中的自动语音识别(ASR)转录中,我们解决了基于文本特征自动为候选人的能力评分的任务。问题的关键在于如何构建问题与答案之间的依赖关系,并对每个问答(QA)对进行语义级交互。然而,目前AVI的研究大多集中在如何更好地表示问题和答案上,而忽视了它们之间的依赖信息和相互作用,而这是QA评估的关键。在这项工作中,我们提出了一种层次推理图神经网络(HRGNN)用于问答对的自动评估。具体来说,我们构建了一个句子级关系图神经网络来捕获问题和答案之间的句子依赖信息。基于这些图,我们采用语义级推理图注意网络对当前QA会话的交互状态进行建模。最后,我们提出了一种门控递归单元编码器来表示用于最终预测的时间问答对。在CHNAT(一个真实数据集)上进行的实证结果验证了我们提出的模型显著优于基于文本匹配的基准模型。消融研究和10个随机种子的实验结果也表明了我们模型的有效性和稳定性。

https://www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

成为VIP会员查看完整内容
0
49

论文链接:https://www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6

简介:数据增强已被广泛用于提高机器学习模型的通用性。但是,相对较少的工作研究图形的数据扩充。这在很大程度上是由于图的复杂非欧几里得结构限制了可能的操纵操作。视觉和语言中常用的增强操作没有图形类似物。在改进半监督节点分类的背景下,我们的工作研究了图神经网络(GNN)的图数据扩充。我们讨论了图数据扩充的实践和理论动机,考虑因素和策略。我们的工作表明,神经边缘预测器可以有效地编码类同质结构,以在给定的图结构中促进类内边缘和降级类间边缘,并且我们的主要贡献是引入了GAug图数据扩充框架,该框架利用这些见解来提高性能通过边缘预测的基于GNN的节点分类在多个基准上进行的广泛实验表明,通过GAug进行的增强可提高GNN架构和数据集的性能。

成为VIP会员查看完整内容
0
84

由于二部图在各种应用领域中得到了广泛的应用,因此嵌入二部图引起了人们的广泛关注。以往的方法大多采用基于随机行走或基于重构的目标,对学习局部图结构是典型的有效方法。但是,二部图的全局性质,包括同构节点的社区结构和异构节点的远程依赖关系,并没有很好地保存下来。在本文中,我们提出了一种称为BiGI的二部图嵌入,通过引入一个新的局部-全局信息目标来捕获这种全局性质。具体来说,BiGI首先生成一个由两个原型表示组成的全局表示。然后BiGI通过提出的子级注意机制将采样的边缘编码为局部表示。BiGI通过最大化局部表示和全局表示之间的互信息,使二部图中的节点具有全局相关性。我们的模型在各种基准数据集上评估top-K推荐和链接预测任务。大量的实验证明BiGI在最先进的基线上实现了一致和显著的改进。详细的分析验证了二部图全局性质建模的有效性。

https://arxiv.org/pdf/2012.05442.pdf

成为VIP会员查看完整内容
0
32

图神经网络(GNN)已被证明是图分析的强大工具。关键思想是沿着给定图的边递归地传播和聚合信息。尽管它们取得了成功,但是,现有的GNN通常对输入图的质量很敏感。真实世界的图通常是噪声和包含任务无关的边缘,这可能导致在学习的GNN模型中泛化性能次优。本文提出一种参数化拓扑去噪网络PTDNet,通过学习丢弃任务无关边来提高GNNs的鲁棒性和泛化性能。PTDNet通过使用参数化网络惩罚稀疏图中的边数来删除与任务无关的边。考虑到整个图的拓扑结构,采用核范数正则化对稀疏图施加低秩约束,以便更好地泛化。PTDNet可以作为GNN模型的关键组件,以提高其在各种任务中的性能,如节点分类和链路预测。在合成数据集和基准数据集上的实验研究表明,PTDNet可以显著提高GNNs的性能,并且对于噪声较大的数据集性能增益更大。

http://personal.psu.edu/dul262/PTDNet/WSDM2021_PTDNet_camera_ready.pdf

成为VIP会员查看完整内容
0
19

本文研究如何更好聚合网络拓扑信息和特征信息。中心思想是,构造了结构图,特征图(feature graph),以及两者的组合来提取特定的和通用的嵌入,并使用注意机制来学习嵌入的自适应重要性权重。实验发现,AM-GCN可以从节点特征和拓扑结构中提取自适应地提取相关的信息,对应不同的参数取值。 https://arxiv.org/abs/2007.02265

摘要:图卷积网络(GCNs)在处理图数据和网络数据的各种分析任务方面得到了广泛的应用。然而,最近的一些研究提出了一个问题,即GCNs是否能够在一个信息丰富的复杂图形中优化地整合节点特征和拓扑结构。在本文中,我们首先提出一个实验研究。令人惊讶的是,我们的实验结果清楚地表明,当前的GCNs融合节点特征和拓扑结构的能力远远不是最优的,甚至是令人满意的。由于GCNs无法自适应地学习拓扑结构与节点特征之间的一些深层次关联信息,这一弱点可能会严重阻碍GCNs在某些分类任务中的能力。我们能否弥补这一缺陷,设计出一种新型的GCNs,既能保留现有GCNs的优势,又能大幅度提高拓扑结构和节点特征融合的能力?为了解决这个问题,我们提出了一种自适应多通道半监督分类图卷积网络。其核心思想是同时从节点特征、拓扑结构及其组合中提取具体的和常见的嵌入,并利用注意机制学习嵌入的自适应重要度权值。我们在基准数据集上进行的大量实验表明,AM-GCN从节点特征和拓扑结构中提取了最多的相关信息,显著提高了分类精度。

成为VIP会员查看完整内容
0
90

大量真实世界的图或网络本质上是异构的,涉及节点类型和关系类型的多样性。异构图嵌入是将异构图的丰富结构和语义信息嵌入到低维节点表示中。现有的模型通常定义多个metapaths在异构图捕捉复合关系和指导邻居选择。但是,这些模型要么忽略节点内容特性,要么沿着元路径丢弃中间节点,要么只考虑一个元路径。为了解决这三个局限性,我们提出了一种新的集合图神经网络模型来提高最终性能。具体来说,MAGNN使用了三个主要组件,即,节点内容转换封装输入节点属性,元内聚合合并中间语义节点,元间聚合合并来自多个元的消息。在三个真实世界的异构图数据集上进行了大量的节点分类、节点聚类和链路预测实验,结果表明MAGNN的预测结果比最先进的基线更准确。

成为VIP会员查看完整内容
0
95
小贴士
相关VIP内容
专知会员服务
31+阅读 · 2021年2月20日
专知会员服务
85+阅读 · 2021年1月28日
专知会员服务
28+阅读 · 2021年1月27日
专知会员服务
19+阅读 · 2020年12月27日
专知会员服务
49+阅读 · 2020年12月27日
专知会员服务
84+阅读 · 2020年12月21日
专知会员服务
32+阅读 · 2020年12月13日
专知会员服务
19+阅读 · 2020年11月14日
专知会员服务
90+阅读 · 2020年7月9日
相关资讯
【KDD2020】动态知识图谱的多事件预测
专知
65+阅读 · 2020年8月31日
【KDD2020】复杂异构网络中的高阶聚类
专知
6+阅读 · 2020年8月27日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
6+阅读 · 2020年8月26日
【KDD2020】图神经网络生成式预训练
专知
17+阅读 · 2020年7月3日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
10+阅读 · 2020年4月3日
图上的归纳表示学习
科技创新与创业
18+阅读 · 2017年11月9日
相关论文
Tim Sainburg,Leland McInnes,Timothy Q Gentner
0+阅读 · 2021年4月2日
Interest-aware Message-Passing GCN for Recommendation
Fan Liu,Zhiyong Cheng,Lei Zhu,Zan Gao,Liqiang Nie
10+阅读 · 2021年2月19日
Xiangde Luo,Jieneng Chen,Tao Song,Yinan Chen,Guotai Wang,Shaoting Zhang
9+阅读 · 2020年9月9日
Suyu Ge,Chuhan Wu,Fangzhao Wu,Tao Qi,Yongfeng Huang
19+阅读 · 2020年3月31日
Xiang Wang,Xiangnan He,Yixin Cao,Meng Liu,Tat-Seng Chua
36+阅读 · 2019年5月20日
dynnode2vec: Scalable Dynamic Network Embedding
Sedigheh Mahdavi,Shima Khoshraftar,Aijun An
9+阅读 · 2018年12月6日
Yang Feng,Lin Ma,Wei Liu,Jiebo Luo
6+阅读 · 2018年11月27日
Ikhlas Alhussien,Erik Cambria,Zhang NengSheng
3+阅读 · 2018年9月27日
John D. Co-Reyes,YuXuan Liu,Abhishek Gupta,Benjamin Eysenbach,Pieter Abbeel,Sergey Levine
6+阅读 · 2018年6月7日
Top
微信扫码咨询专知VIP会员