PAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence),IEEE模式分析与机器智能汇刊,简称PAMI,是IEEE最重要的学术性汇刊之一。事实上,PAMI有着超高的影响因子(17.730)和排名,被誉为SCI之王。与顶级会议相比,顶级期刊的评议过程更为严格,特别重视工作的创新性和完整性,录取难度和门槛很高。

本期小编挑选了5篇PAMI2021中关于GNN的论文(附论文下载地址)分享给大家~ 包括图池化,ARMA滤波的GNN,GNN的Inductive-Transductive预测, GNN在多标签中的应用和GNN中的受限传播~

论文清单

Topology-Aware Graph Pooling Networks Graph Neural Networks with Convolutional ARMA Filters On Inductive-Transductive Learning with Graph Neural Networks Learning Graph Convolutional Networks for Multi-Label Recognition and Applications Deep Constraint-based Propagation in Graph Neural Networks

1 Topology-Aware Graph Pooling Networks (论文下载地址:https://arxiv.org/abs/2010.09834)

池化操作在计算机视觉和自然语言处理任务中已显示出其有效性。但由于图上没有很好的定义局部性,在图数据上执行池化操作是一个具有挑战性的任务。先前的研究使用全局排名方法对一些重要节点进行采样,但是其中大多数不能合并图拓扑。在这项工作中,我们提出了拓扑感知池化(TAP)层,该层明确考虑了图拓扑。TAP层是一个两阶段的投票过程(local voting、global voting),用于选择图中的更重要的节点。

  • local voting:计算每对节点之间的相似性得分,利用相似性得分来标记每条边,节点的平均相似性分数用作其local voting score,节点越大表示分数越高。

  • global voting:将图拓扑合并到global voting中,权衡整个图中每个节点的重要性。

每个节点的最终排名得分是通过其本地和全局投票得分来计算的。为了在采样图中实现更好的图连通性,在排名分数的计算中考虑了这一点。图连通性将度信息用作偏差项,以鼓励该层选择度高的节点以形成采样图。基于TAP层,设计了可感知拓扑的池化网络,用于网络嵌入学习。图分类任务的结果表明,该方法与现有方法相比具有更好的性能。

2 Graph Neural Networks with Convolutional ARMA Filters (论文下载地址:https://arxiv.org/abs/1901.01343)

大多数图神经网络方法基于多项式谱滤波器在图上实现卷积运算。本文提出了一种新的图卷积层,该图卷积层受auto-regressive moving average(ARMA)滤波器的启发,与polynomial spectral filters相比,该卷积层提供了更灵活的频率响应,对噪声更鲁棒,并且可以更好地捕获全局图结构。我们提出了一种基于递归和分布式的ARMA滤波器的图神经网络实现算法,ARMA layer使用较少的参数捕获全局图结构,从而克服了基于高阶多项式滤波器的GNN的局限性。ARMA过滤器未定位在节点空间中,需要对矩阵求逆。为解决此问题,ARMA层依赖于递归公式,这导致了一种快速且分布式的实现,该实现利用了对张量的有效稀疏运算。滤波器不是在给定的拉普拉斯算子的傅立叶空间中学习的,而是位于节点空间中,并且与基础图结构无关。这使我们的GNN在归纳推理任务的测试阶段可以处理具有未见拓扑结构的图。针对四个下游任务:半监督节点分类,图信号分类,图分类和图回归,进行实验。结果表明,所提出的ARMA层相对于基于多项式滤波器的图神经网络带来了显著改进。

3 On Inductive-Transductive Learning with Graph Neural Networks (论文下载地址:https://link.springer.com/content/pdf/10.1007%2F978-3-319-99978-4.pdf 论文详见第201页)

现实世界许多领域的数据都可以用图的来表示,例如,生物蛋白质网络、神经网络、社交网络等。图可以将一个给定的模式描述为一个由节点和边组成的复杂结构。尽管图具有丰富的表示能力,但大多数机器学习方法都不能直接处理图数据,需要将此类数据转换为一些简单形式,例如,实值向量。这种转换会损失一些有用的信息。图神经网络模型(GNN)能够直接处理图数据,并且对图的类型没有任何限制。原始的GNN模型基于经典的归纳学习,使用训练集来学习参数,进而得到模型。直推式学习采用了一种更直接的方法,即利用不同样本之间的关系来利用标记和未标记的数据,根据模式与训练集中可用实例的关系对模式进行分类。在这种情况下,训练模式可直接用于分类过程,而无需调整参数模型,甚至无需依赖分类规则和模式特征。本文提出了一个混合直推-归纳的GNN模型,展示了这两种学习框架的共同特征。该模型根据群体检测、子图匹配和真实问题(交通流量预测和网络垃圾邮件预测)进行评估,显示出了不错的效果。

4 Learning Graph Convolutional Networks for Multi-Label Recognition and Applications (论文下载地址:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9369105)

多标签图像识别的任务是预测图像中存在的一组对象标签。由于多个对象通常同时出现在图像中,因此需要对标签依赖性进行建模以提高识别性能。为了捕获和探索此类重要信息,本文提出了基于图卷积网络(GCN)的多标签图像识别模型,其在类上构造有向图,并在类之间传播信息,以学习相互依存的class-level表示。遵循这个想法,论文设计了两个特殊的模型,它们从不同的角度进行多标签分类。在第一个模型中,有关类依赖的先验知识被集成到分类器学习中。具体而言,我们提出了Classifier Learning GCN(C-GCN),以将类级别的语义表示(例如,单词嵌入)映射到inter-class拓扑的分类器中。在第二个模型中,我们将图像的视觉表示分解为一组标签感知的特征,并提出了Prediction Learning GCN(P-GCN),以将特征编码为相互依赖的图像级预测分数。此外,还提出了一种有效的相关矩阵构造方法,以捕获类之间的关系,从而指导类之间的信息传播。通用多标签图像识别的实验结果表明,这两个模型优于其他state-of-the-arts。此外,所提出的方法在一些与多标签分类有关的应用中也具有不错的效果。

  1. Deep Constraint-based Propagation in Graph Neural Networks (论文下载地址:https://arxiv.org/abs/2005.02392)

我们可以用图的形式来表示实际应用中的数据的复杂结构。GNN是Scarselli等人提出的一种针对图数据的模型,是循环神经网络和随机游走模型的扩展。在保持二者特性的基础上扩展了循环神经网络,可以处理多种类型的图,例如,循环图,有向图和无向图,无需任何预处理即可处理以节点为中心的应用。通过迭代扩散过程对图的节点状态进行编码,对于每个训练epoch,GNN的学习过程需要一个迭代扩散机制,直到它收敛到一个稳定的不动点。这是一个多阶段的优化过程,比基于梯度优化的模型更昂贵,更不实用。虽然,迭代过程可以提前停止以加速计算,但这最终限制了GNN学习的局部编码能力,减少了沿每个节点携带的信息图的扩散深度。我们提出了一种新的基于拉格朗日公式的GNN学习机制,其中每个节点与其邻域之间的关系由一组约束表示。找到满足约束条件的节点状态表示是重新考虑上述扩散过程中固定点计算的一种简单方法。我们可以借鉴神经网络中的约束优化工具,以设计出一种完全基于BP的学习方法,其中状态表示以及状态转换和输出函数的权重可以共同优化。

与传统基于拉格朗日的训练方法不同的是,状态转移函数和输出函数都是经典的BP可训练模型,所有的训练实例都共享这些模型,而学习问题的唯一附加变量与图的节点有关。这使我们能够在基于拉格朗日的图扩散公式引入灵活性和添加新变量之间找到一个很好的权衡。我们通过类似于多层计算方法的pipeline of constraints 来计算每个节点的多个表示。每个节点的evolving representation 被视为附加到节点本身的新信息。引入使用该新信息的另一个状态转移函数,约束强制执行一个 parallel diffusion 过程,从而形成节点的另一种表示。这个过程可以重复多次,从而模拟一个深度约束方案,增强了GNN的表示能力。

实验分析表明,所提出的方法在几个基准测试上均优于state-of-the-arts。

成为VIP会员查看完整内容
0
30

相关内容

本期小编挑选了几篇ICML2021中关于GNN的论文(附论文下载地址)分享给大家~包括图神经网络规范化、图表示能力增强、图神经网络的对抗攻击能力、图神经网络与强化学习结合控制图中动态传播问题、分子图卷积神经网络 (GCNN) 的正则化方法~

论文清单

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

A Collective Learning Framework to Boost GNN Expressiveness

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training (论文下载地址:https://arxiv.org/abs/2009.03294)

Normalization有助于优化深度神经网络。但不同的结构需要不同的规范化方法。在本文中,我们研究什么规范化方法对图神经网络 (GNN) 是有效的。首先,我们将现有的规范化方法应用到GNN中,并对其进行评估。与BatchNorm和LayerNorm相比,InstanceNorm的收敛速度更快。InstanceNorm 作为 GNN 的preconditioner,但由于图数据集中的大量的批处理噪声,BatchNorm 的这种预处理效果就显得较弱。其次,我们证明了InstanceNorm中的shift操作会导致GNN对于高度正则图的表达能力退化。我们提出了一种learnable shift的GraphNorm来解决这个问题。实验表明,使用GraphNorm的GNN比使用其他规范化方法的GNN收敛更快。此外,GraphhNorm还改进了GNN的泛化能力,在图分类中获得了更好的性能。

A Collective Learning Framework to Boost GNN Expressiveness (论文下载地址:https://arxiv.org/abs/2003.12169)

图神经网络 (GNN) 最近已成功用于节点和图分类任务。但 GNN 建模的是相邻节点的属性之间的依赖关系,而不是观察到的节点标签之间的依赖关系。在本文中,我们考虑在监督和半监督下考虑到标签依赖性,使用 GNN 进行inductive node classification。当前的 GNN 不是通用的(即最具表现力的)图表示模型,我们提出了一种通用的collective learning方法,增强现有 GNN 的表示能力。我们的模型将collective classification的思想与自监督学习相结合,并使用蒙特卡罗方法对embeddings进行采样,以进行图之间的归纳学习。我们评估了模型在五个真实网络数据集上的性能,结果证明了模型可以显著提高节点分类的准确度。

Information Obfuscation of Graph Neural Networks (论文下载地址:https://arxiv.org/abs/2009.13504)

图神经网络 (GNN) 的出现极大地改进了许多应用中的节点和图表示学习能力,但邻域聚合方法向试图提取敏感属性node-level信息的对手暴露了额外的漏洞。在本文中,我们研究了在使用图结构数据进行学习时,利用信息混淆来保护敏感属性的问题。我们提出了一个基于total variation和 Wasserstein 距离的对抗性训练框架,用于局部过滤掉预先确定的敏感属性。该方法可以对推理攻击形成了强大的防御。理论上,我们分析了该框架对抗最坏情况的有效性,并描述了最大化预测准确性和最小化信息泄漏之间的内在权衡。在来自推荐系统、知识图谱和量子化学的多个数据集上进行实验,实验表明,该方法在为下游任务生成 GNN 编码器的同时,可以为各种图结构和任务提供强大的防御能力。

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

(论文下载地址:https://arxiv.org/abs/2010.05313)

我们考虑控制图中partially-observed的动态传播过程的问题。例如,在安排病毒测试或选择应该被隔离的节点以遏制流行病蔓延;手动检查发布的文章来检测在线网络上传播的虚假新闻;鼓励产品的传播而进行的有针对性的营销,在这些情况下,都会遇到这个问题。当只能测试或隔离一小部分人口时,遏制传播并限制感染人群的比例变得具有挑战性。

为了应对这一挑战,我们将此问题建模为图上的顺序决策问题。面对指数级状态空间、组合动作空间和部分可观察性,我们提出了 RLGN,这是一种新颖的易处理强化学习 (RL) 方法,用于确定节点是否需要测试,并使用图神经网络 (GNN) 对图节点进行排序。我们在三种类型的社交网络中评估这种方法:社区结构、优先连接依赖preferential attachment 和 基于真实 cellular tracking的统计数据。实验表明,RLGN始终优于所有基线方法。与使用相同资源的非学习方法相比,在时间图上使用RL进行优先测试可以使健康人群的数量增加25%,控制疫情的频率比监督方法高30%,比非学习基线高2.5倍。

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity (论文下载地址:https://arxiv.org/abs/2105.04854)

对分子的哪些部分驱动了分子图卷积神经网络 (GCNN) 的预测进行合理解释是很困难。针对这个问题,论文提出了两种正则化方法,用于训练GCNN。Batch Representation Orthonormalization (BRO) 和 Gini regularization。受molecular orbital theory的启发,BRO鼓励用图卷积运算生成正交节点嵌入。Gini regularization应用于输出层的权重,并约束模型可用于进行预测的维数。Gini 和 BRO 正则化方法可以提高GCNN 归因方法在人工基准数据集上的准确性。在现实世界中,我们证明了药物化学家更倾向于从正则化模型中提取解释。虽然论文只在 GCNN 中研究这两种正则化方法,但Gini 和 BRO 正则化方法都可以应用于其他类型的神经网络中。

成为VIP会员查看完整内容
0
10

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,ICML 2021共有5513篇论文投稿,共有1184篇接受(包括1018篇短论文和166篇长论文),接受率21.48%。

为此,专知小编提前为大家整理了五篇ICML 2021图神经网络(Graph Neural Network)最新进展,这块这几年一直比较受关注,大家先睹为快——图正则化、分子式图神经网络、时间序列预测、有向图网络、GNN泛化

CVPR2021DA、CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR

1. GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

作者:Tianle Cai, Shengjie Luo, Keyulu Xu, Di He, Tie-Yan Liu, Liwei Wang

摘要:众所周知,Normalization有助于深度神经网络的优化。不同的体系结构需要专门的规范化方法。本文研究哪种归一化对图神经网络(GNN)有效。首先,本文采用其他领域GNN的现有方法并评估。与BatchNorm和LayerNorm相比,InstanceNorm可以实现更快的收敛。我们通过将InstanceNorm作为GNN的前提条件来提供解释,但是由于图数据集中的大量批处理噪声,BatchNorm的这种预处理效果较弱。其次,我们证明InstanceNorm中的移位操作会导致GNN的表达性下降,从而影响高度规则的图。我们提出GraphNorm以可学习的方式解决此问题。根据经验,与使用其他规范化的GNN相比,具有GraphNorm的GNN收敛更快。GraphNorm还改善了GNN的泛化,在图分类基准上实现了更好的性能。

论文: https://arxiv.org/abs/2009.03294

2. Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

作者:Ryan Henderson, Djork-Arné Clevert, Floriane Montanari

摘要:对于分子的哪些部分可能会影响分子图卷积神经网络(GCNN)的预测,这部分探索相对很困难。为了帮助解决这个问题,本文提出了两种简单的正则化方法,在GCNN的训练过程中应用:批处理表示正态化(Batch Representation Orthonormalization,BRO)和基尼正则化(Gini regularization)。BRO受分子轨道理论的启发,使图卷积运算生成正交节点嵌入表示。Gini正则化应用于输出层的权重,限制模型可用于进行预测的维数。本文表明,Gini和BRO正则化可以提高人工基准数据集上最新的GCNN方法的准确性。在现实世界中,本文证明了药物化学家非常喜欢从正规化模型中提取解释。虽然我们仅在GCNN的背景下研究这些正则化,但两者都可以应用于其他类型的神经网络。

论文: https://arxiv.org/abs/2105.04854

3. Z-GCNETs: Time Zigzags at Graph Convolutional Networks for Time Series Forecasting

作者:Yuzhou Chen, Ignacio Segovia-Dominguez, Yulia R. Gel

摘要:最近,一种新的深度学习(DL)架构的变得很火,该架构将明确的时间维度集成为学习和表示机制的基本构建块。与之相反,许多最新结果表明,观测数据的拓扑描述符(即数据的持久同源性)可能包含重要的补充信息从而改善DL的性能和鲁棒性,这种拓扑描述符以不同比例对拓扑空间中数据集形状信息进行编码。随着这两个新思想的融合,我们提出使用数据的最显着的时间条件拓扑信息来增强DL体系结构,并将zigzag持久性的概念引入时间感知图卷积网络(GCN)中。zigzag持续性提供了一个系统的、数学上严格的框架来跟踪观察数据的最重要的拓扑特征,这些特征随着时间的推移会逐渐显现。为了将提取的时间条件拓扑描述符集成到DL中,本文开发了一个新的拓扑方法,zigzag持久性图像,并得出其理论上的稳定性保证。我们使用时间感知zigzag拓扑层(Z-GCNET)验证了新的GCN,并将其应用于流量预测和以太坊区块链价格预测。结果表明,Z-GCNET在4个时间序列数据集上的表现优于13种最新方法。

论文: https://arxiv.org/abs/2105.04100

4. Directional Graph Networks

作者:Dominique Beaini, Saro Passaro, Vincent Létourneau, William L. Hamilton, Gabriele Corso, Pietro Liò

摘要:图神经网络(GNN)中缺乏各向异性核极大地限制了其表达能力,导致了一些众所周知的问题,如过度平滑。为了克服这个限制,作者提出了第一个全局一致的各向异性核,允许根据拓扑导出的方向流定义图卷积。首先,通过在图中定义矢量场,将具体节点信息投影到场,提出了一种方向导数和平滑的方法。然后,用拉普拉斯特征向量作为这种向量场。在Weisfeiler-Lehman 1-WL检验方面,证明了该方法可以在n维网格上泛化CNN,并证明比标准的GNN更有分辨力。在不同的标准基准上评估了本文方法,发现在CIFAR10图数据集上相对误差减少了8%,在分子锌数据集上相对误差减少了11%到32%,在MolPCBA数据集上相对精度提高了1.6%。这项工作的重要成果是,它使图网络能够以一种无监督的方式嵌入方向,从而能够更好地表示不同物理或生物问题中的各向异性特征。

论文: https://arxiv.org/abs/2010.02863

5. Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth

作者:Keyulu Xu, Mozhi Zhang, Stefanie Jegelka, Kenji Kawaguchi

摘要:GNN的表示能力和泛化能力得到了广泛的研究。但是,它们的优化其实研究的很少。通过研究GNN的梯度动力学,本文迈出分析GNN训练的第一步。具体来说,首先,本文分析线性化(linearized)的GNN,并证明了:尽管它的训练不具有凸性,但在我们通过真实图验证的温和假设下,可以保证以线性速率收敛到全局最小值。其次,我们研究什么会影响GNN的训练速度。结果表明,通过跳过(skip)连接,可以的到更深的深度、良好的标签分布,可以隐式地加速GNN的训练。实验结果证实,我们针对线性GNN的理论结果与非线性GNN的训练行为一致。我们的结果在优化方面为具有跳过连接的GNN的成功提供了第一个理论支持,并表明具有跳过连接的深层GNN在实践中将很有希望对。

论文: https://arxiv.org/abs/2105.04550

成为VIP会员查看完整内容
0
20

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
93

1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing(MixHop: 通过稀疏邻域混合实现的高阶图卷积结构)

作者:Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

摘要:现有的基于图神经网络的半监督学习方法(如图卷积网络)不能学习一般的邻域混合关系。为了解决这个缺点,我们提出了一个新的模型,MixHop,它可以通过在不同距离重复混合邻居的特征表示来学习这些关系,包括不同的操作符。MixHop不需要额外的内存或计算复杂度,并且在一些具有挑战性的baseline上性能更好。此外,我们建议使用稀疏正则化,使我们能够可视化网络如何跨不同的图数据集对邻居信息进行优先级排序。我们对所学体系结构的分析表明,每个数据集的邻域混合是不同的。

网址:http://proceedings.mlr.press/v97/abu-el-haija19a.html

代码链接: https://github.com/samihaija/mixhop

2、Compositional Fairness Constraints for Graph Embeddings(图嵌入的组合公平性约束)

作者:Avishek Bose, William Hamilton

摘要:学习高质量的节点嵌入是基于图数据(如社交网络和推荐系统)的机器学习模型的关键步骤。然而,现有的图嵌入技术无法处理公平约束,例如,确保所学习的表示与某些属性(如年龄或性别)不相关。在这里,我们引入一个对抗框架来对图嵌入实施公平性约束。我们的方法是组合的,这意味着它可以灵活地适应推理过程中公平约束的不同组合。例如,在社会推荐的上下文中,我们的框架允许一个用户要求他们的推荐对他们的年龄和性别都是不变的,同时也允许另一个用户只对他们的年龄要求不变。在标准知识图和推荐系统基准测试上的实验突出了我们提出的框架的实用性。

网址:http://proceedings.mlr.press/v97/bose19a.html

代码链接: https://github.com/joeybose/Flexible-Fairness-Constraints

3、Learning Discrete Structures for Graph Neural Networks(学习图神经网络的离散结构)

作者:Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He

摘要:图神经网络(GNNs)是一种流行的机器学习模型,已成功地应用于一系列问题。它们的主要优势在于能够显式地合并数据点之间的稀疏和离散依赖结构。不幸的是,只有在这种图结构可用时才能使用GNN。然而,在实践中,真实世界中的图常常是嘈杂的、不完整的,或者根本就不可用。在此基础上,我们提出通过近似求解一个学习图边缘离散概率分布的双层程序来共同学习图卷积网络(GCNs)的图结构和参数。这不仅允许在给定图不完整或损坏的场景中应用GCNs,还允许在图不可用的场景中应用GCNs。我们进行了一系列的实验,分析了该方法的行为,并证明了它比相关的方法有显著的优势。

网址:http://proceedings.mlr.press/v97/franceschi19a.html

代码链接: https://github.com/lucfra/LDS

4、Graph U-Nets

作者:Hongyang Gao, Shuiwang Ji

摘要:我们研究了图数据的表示学习问题。卷积神经网络可以很自然地对图像进行操作,但在处理图数据方面存在很大的挑战。由于图像是二维网格上节点图的特殊情况,图的嵌入任务与图像的分割等像素级预测任务具有天然的对应关系。虽然像U-Nets这样的编解码器结构已经成功地应用于许多图像的像素级预测任务,但是类似的方法在图数据上还是很缺乏。这是由于池化操作和上采样操作对图数据不是自然的。为了解决这些挑战,我们提出了新的图池化(gPool)和反池化(gUnpool)操作。gPool层根据节点在可训练投影向量上的标量投影值,自适应地选择节点,形成较小的图。我们进一步提出了gUnpool层作为gPool层的逆操作。gUnpool层使用在相应gPool层中选择的节点位置信息将图恢复到其原始结构。基于我们提出的gPool和gUnpool层,我们开发了一个基于图的编解码器模型,称为Graph U-Nets。我们在节点分类和图分类任务上的实验结果表明,我们的方法比以前的模型具有更好的性能。

网址:http://proceedings.mlr.press/v97/gao19a.html

代码链接: https://github.com/HongyangGao/gunet

5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance(图神经网络用于乐谱数据和钢琴演奏表现力的建模)

作者:Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam

摘要:乐谱通常被处理为一维序列数据。与文本文档中的单词不同,乐谱中的音符可以由复调性质同时演奏,并且每个音符都有自己的持续时间。在本文中,我们使用图神经网络表示乐谱的独特形式,并将其应用于从乐谱中渲染表现力的钢琴演奏。具体地,我们设计了使用note-level门控图神经网络和采用迭代反馈方法的双向LSTM测量级层次注意网络的模型。此外,为了对给定输入分数的不同性能风格建模,我们使用了一个变分自编码器。听力测试结果表明,与baseline模型和层次注意网络模型相比,我们提出的模型生成了更多的类人性能,而层次注意网络模型将音乐得分处理为类词序列。

网址:http://proceedings.mlr.press/v97/jeong19a.html

代码链接: https://github.com/jdasam/virtuosoNet

6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects(用于学习图结构物体相似性的图匹配网络)

作者:Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

摘要:本文针对图结构物体的检索与匹配这一具有挑战性的问题,做了两个关键的贡献。首先,我们演示了如何训练图神经网络(GNN)在向量空间中嵌入图,从而实现高效的相似性推理。其次,提出了一种新的图匹配网络模型,该模型以一对图作为输入,通过一种新的基于注意力的交叉图匹配机制,对图对进行联合推理,计算出图对之间的相似度评分。我们证明了我们的模型在不同领域的有效性,包括具有挑战性的基于控制流图的功能相似性搜索问题,该问题在软件系统漏洞检测中发挥着重要作用。实验分析表明,我们的模型不仅能够在相似性学习的背景下利用结构,而且它们还比那些为这些问题精心手工设计的领域特定baseline系统表现得更好。

网址:http://proceedings.mlr.press/v97/li19d.html

7、Disentangled Graph Convolutional Networks(Disentangled图卷积网络)

作者:Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu

摘要:真实世界图形的形成通常来自于许多潜在因素之间高度复杂的交互作用。现有的基于图结构数据的深度学习方法忽略了潜在因素的纠缠,使得学习表示不鲁棒,难以解释。然而,在图神经网络的研究中,如何将潜在因素分解出来的学习表示方法面临着巨大的挑战,并且在很大程度上还没有得到探索。本文引入解纠缠(Disentangled)图卷积网络(DisenGCN)来学习disentangled节点表示。特别地,我们提出了一种新的邻域路由机制,它能够动态地识别可能导致节点与其相邻节点之间产生边的潜在因素,并相应地将相邻节点分配到一个提取和卷积特定于该因素的特性的信道。从理论上证明了该路由机制的收敛性。实验结果表明,我们提出的模型可以获得显著的性能提升,特别是当数据表明存在许多纠缠因素时。

网址:http://proceedings.mlr.press/v97/ma19a.html

8、GMNN: Graph Markov Neural Networks(GMNN: 图马尔可夫神经网络)

作者:Meng Qu, Yoshua Bengio, Jian Tang

摘要:本文研究关系数据中的半监督对象分类问题,这是关系数据建模中的一个基本问题。在统计关系学习(如关系马尔可夫网络)和图神经网络(如图卷积网络)的文献中,这一问题得到了广泛的研究。统计关系学习方法可以通过条件随机场对对象标签的依赖关系进行有效的建模,用于集体分类,而图神经网络则通过端到端训练学习有效的对象表示来分类。在本文中,我们提出了一种集两种方法优点于一体的Graph Markov Neural Networks (GMNN)。GMNN利用条件随机场对目标标签的联合分布进行建模,利用变分EM算法对其进行有效训练。在E-step中,一个图神经网络学习有效的对象表示,逼近对象标签的后验分布。在M-step中,利用另一个图神经网络对局部标签依赖关系进行建模。在对象分类、链路分类和无监督节点表示学习等方面的实验表明,GMNN取得了较好的效果。

网址:http://proceedings.mlr.press/v97/qu19a.html

代码链接: https://github.com/DeepGraphLearning/GMNN

9、Simplifying Graph Convolutional Networks(简化图卷积网络)

作者:Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger

摘要:图卷积网络(GCNs)及其变体得到了广泛的关注,已成为学习图表示的实际方法。GCNs的灵感主要来自最近的深度学习方法,因此可能会继承不必要的复杂性和冗余计算。在本文中,我们通过连续消除非线性和折叠连续层之间的权重矩阵来减少这种额外的复杂性。我们从理论上分析了得到的线性模型,结果表明它对应于一个固定的低通滤波器,然后是一个线性分类器。值得注意的是,我们的实验评估表明,这些简化不会对许多下游应用程序的准确性产生负面影响。此外,生成的模型可以扩展到更大的数据集,这是自然可解释的,并且比FastGCN的速度提高了两个数量级。

网址:http://proceedings.mlr.press/v97/wu19e.html

代码链接: https://github.com/Tiiiger/SGC

10、Position-aware Graph Neural Networks(位置感知图神经网络)

作者:Jiaxuan You, Rex Ying, Jure Leskovec

摘要:学习节点嵌入,捕捉节点在更广泛的图结构中的位置,对于图上的许多预测任务是至关重要的。然而,现有的图神经网络(GNN)结构在获取给定节点相对于图中所有其他节点的position/location方面的能力有限。本文提出了一种计算位置感知节点嵌入的新型神经网络—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先对锚节点集进行采样,计算给定目标节点到每个锚集的距离,然后学习锚集上的非线性距离加权聚集方案。通过这种方式,P-GNNs可以捕获节点相对于锚节点的位置。P-GNN有几个优点: 它们具有归纳性,可扩展性,并且可以包含节点特征信息。我们将P-GNNs应用于多个预测任务,包括链路预测和社区检测。我们显示,P-GNNs始终优于最先进的GNNs, 在ROC AUC分数方面提高了66%。

网址:http://proceedings.mlr.press/v97/you19b.html

代码链接: https://github.com/JiaxuanYou/P-GNN

论文下载

百度云链接:https://pan.baidu.com/s/1hOSkrDD2VWRJCTj9_uGrjw

提取码:vcc3

成为VIP会员查看完整内容
0
47

1、Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning

作者:Bingbing Xu , Huawei Shen , Qi Cao , Keting Cen and Xueqi Cheng;

摘要:图卷积网络在图结构数据的半监督学习中取得了显著的成功。基于图的半监督学习的关键是捕捉由图结构施加于节点上的标签或特征的平滑性。以往的方法,包括spectral方法和spatial方法,都致力于将图卷积定义为相邻节点上的加权平均,然后学习图卷积核,利用平滑度来提高基于图的半监督学习的性能。一个开放的挑战是如何确定合适的邻域来反映图结构中表现出来的平滑相关信息。在本文中,我们提出了GraphHeat,利用heat kernel来增强低频滤波器,并在图上的信号变化中增强平滑性。GraphHeat利用热扩散下目标节点的局部结构灵活地确定其相邻节点,而不受先前方法所受的顺序约束。GraphHeat在三个基准数据集(Cora、Citeseer和Pubmed)上实现了基于图的半监督分类,并取得了最先进的结果。

网址:https://www.ijcai.org/proceedings/2019/0267.pdf

2、Graph WaveNet for Deep Spatial-Temporal Graph Modeling

作者:Zonghan Wu , Shirui Pan , Guodong Long, Jing Jiang, Chengqi Zhang;

摘要:时空图(Spatial-temporal graph)建模是分析系统中各组成部分的空间关系和时间趋势的一项重要工作。假设实体之间的底层关系是预先确定的,现有的方法主要捕获固定图结构上的空间依赖关系。但是,显式图形结构(关系)不一定反映真实的依赖关系,并且由于数据中的不完整连接可能会丢失真正的关系。此外,现有的方法无法捕捉时间趋势,因为这些方法中使用的RNNs或CNNs不能捕捉long-range的时间序列。为了克服这些局限性,本文提出了一种新的图神经网络结构—Graph WaveNet,用于时空图的建模。通过开发一种新的自适应依赖矩阵,并通过节点嵌入学习,该模型可以精确地捕捉数据中隐藏的空间依赖关系。利用stacked dilated一维卷积分量,其接收域随着层数的增加呈指数增长,Graph WaveNet能够处理非常长的序列。这两个组件无缝集成在一个统一的框架中,整个框架以端到端方式学习。在METR-LA和PEMS-BAY这两个公共交通网络数据集上的实验结果表明,该算法具有优越的性能。

网址:https://www.ijcai.org/proceedings/2019/0264.pdf

3、Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification

作者:Fenyu Hu, Yanqiao Zhu, Shu Wu, Liang Wang and Tieniu Tan;

摘要:图卷积网络(GCNs)已成功地应用于网络挖掘的节点分类任务中。然而,这些基于邻域聚合的模型大多比较浅显,缺乏“graph pooling”机制,无法获得足够的全局信息。为了增加感受野,我们提出了一种新的深度层次图卷积网络(H-GCN)用于半监督节点分类。H-GCN首先重复地将结构相似的节点聚合到超节点,然后将粗糙的图细化为原始图,以恢复每个节点的表示形式。该粗糙化方法不只是简单地聚合一个或两个hop的邻域信息,而是扩展了每个节点的接受域,从而获得更多的全局信息。提出的H-GCN模型在各种公共基准图数据集上表现出较强的经验性能,性能优于目前最先进的方法,在精度方面获得了高达5.9%的性能提升。此外,当只提供少量带标签的样本时,我们的模型得到了实质性的改进。

网址:https://www.zhuanzhi.ai/paper/3c03b5cfd45607aef03a199c5770f85a

4、AddGraph: Anomaly Detection in Dynamic Graph Using Attention-based Temporal GCN

作者:Li Zheng, Zhenpeng Li, Jian Li, Zhao Li and Jun Gao;

摘要:动态图中的异常检测在许多不同的应用场景中都是非常关键的,例如推荐系统,但由于异常的高灵活性和缺乏足够的标记数据,也带来了巨大的挑战。在学习异常模式时,最好考虑所有可能的提示,包括结构、内容和时间特征,而不是对部分特征使用启发式规则。在本文中,我们提出了AddGraph,一个使用extended temporal GCN(Graph Convolutional Network,图卷积网络)和注意力模型的端到端异常边缘检测框架,它可以同时捕获动态图中的长期模式和短期模式。为了解决显式标注数据不足的问题,我们采用了选择性负采样和边际损失的方法,对AddGraph进行半监督训练。我们在实际数据集上进行了大量的实验,并证明了AddGraph在异常检测方面可以明显优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0614.pdf

5、Dual Self-Paced Graph Convolutional Network: Towards Reducing Attribute Distortions Induced by Topology

作者:Liang Yang, Zhiyang Chen, Junhua Gu and Yuanfang Guo;

摘要:基于图卷积神经网络(GCNNs)的半监督节点分类的成功,归功于其拓扑上的特征平滑(传播)。然而,利用拓扑信息可能会干扰特征。这种失真将导致节点的一定量的错误分类,这可以仅用特征正确地预测。通过分析边缘在特征传播中的影响,连接具有相似特征的两个节点的简单边缘应该在训练过程中优先于根据curriculum learning的复杂边缘。为了在充分挖掘属性信息潜力的同时减少拓扑结构引起的失真,我们提出了Dual Self-Paced图卷积网络(DSP-GCN)。具体来说,在节点级self-paced learning中,将具有可信预测标签的无标签节点逐步添加到训练集中,而在边缘级self-paced learning中,在训练过程中,将边缘从简单的边缘逐渐添加到复杂的边缘到图中。这两种学习策略通过对边缘和无标签节点的选择进行耦合,实现了相互增强。在多个实际网络上进行了transductive半监督节点分类的实验结果表明,我们提出的DSP-GCN在仅使用一个图卷积层的情况下,成功地减少了拓扑引起的特征失真,同时具有较好的性能。

网址:https://www.ijcai.org/proceedings/2019/0564.pdf

6、Masked Graph Convolutional Network

作者:Liang Yang, Fan Wu, Yingkui Wang, Junhua Gu and Yuanfang Guo;

摘要:半监督分类是机器学习领域中处理结构化和非结构化数据的一项基本技术。传统的基于特征图的半监督分类方法在通常由数据特征构造的图上传播标签,而图卷积神经网络在真实图拓扑上平滑节点属性,即传播特征。本文从传播的角度对其进行了解释,并将其分为基于对称传播和基于非对称传播的方法。从传播的角度看,传统的方法和基于网络的方法都是在图上传播特定的对象。然而,与标签传播不同的是,直觉上“连接的数据样本在特征方面趋于相似”,在特征传播中仅部分有效。因此,提出了一种masked图卷积网络(Masked GCN),它只是根据一个masking indicator将一部分特征传播给邻居,这是通过联合考虑局部邻域中的特征分布和对对分类结果的影响而为每个节点学习的。在传transductive和inductive节点分类任务上的大量实验证明了该方法的优越性。

网址:https://www.ijcai.org/proceedings/2019/0565.pdf

7、Learning Image-Specific Attributes by Hyperbolic Neighborhood Graph Propagation

作者:Xiaofeng Xu, Ivor W. Tsang, Xiaofeng Cao, Ruiheng Zhang and Chuancai Liu;

摘要:特征作为视觉目标描述的一种语义表示,在各种计算机视觉任务中得到了广泛的应用。在现有的基于特征的研究中,通常采用类特定特征(class-specific attributes, CSA),这是类级别的标注,由于其对每个类的标注成本较低,而不是对每个单独的图像进行标注。然而,由于标注错误和单个图像的多样性,class-specific的特征通常是有噪声的。因此,我们希望从原始的class-specific特征中获得特定于图像的特征(image-specific,ISA),即image level标注。在本文中,我们提出了通过基于图的特征传播来学习image-specific的特征。考虑到双曲几何的内在属性,其距离呈指数扩展,构造双曲线邻域图(HNG)来表征样本之间的关系。基于HNG,我们定义了每个样本的邻域一致性,以识别不一致的样本。然后,根据HNG中不一致的样本的邻居对其进行细化。在5个基准数据集上的大量实验表明,在zero-shot目标分类任务中,学习的image-specific的特征明显优于原始的class-specific的特征。

网址:https://www.ijcai.org/proceedings/2019/0554.pdf

成为VIP会员查看完整内容
0
48

1、 Adversarial Graph Embedding for Ensemble Clustering

作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要:Ensemble Clustering通常通过图分区方法将基本分区集成到共识分区(consensus partition)中,但这种方法存在两个局限性: 1) 它忽略了重用原始特征; 2)获得具有可学习图表示的共识分区(consensus partition)仍未得到充分研究。在本文中,我们提出了一种新颖的对抗图自动编码器(AGAE)模型,将集成聚类结合到深度图嵌入过程中。具体地,采用图卷积网络作为概率编码器,将特征内容信息与共识图信息进行联合集成,并使用简单的内积层作为解码器,利用编码的潜变量(即嵌入表示)重建图。此外,我们还开发了一个对抗正则化器来指导具有自适应分区依赖先验的网络训练。通过对8个实际数据集的实验,证明了AGAE在几种先进的深度嵌入和集成聚类方法上的有效性。

网址:https://www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要:Attributed Graph聚类是一项具有挑战性的工作,它要求对图结构和节点属性进行联合建模。图卷积网络的研究进展表明,图卷积能够有效地将结构信息和内容信息结合起来,近年来基于图卷积的方法在一些实际属性网络上取得了良好的聚类性能。然而,对于图卷积如何影响聚类性能以及如何正确地使用它来优化不同图的性能,人们的了解有限。现有的方法本质上是利用固定低阶的图卷积,只考虑每个节点几跳内的邻居,没有充分利用节点关系,忽略了图的多样性。本文提出了一种自适应图卷积方法,利用高阶图卷积捕获全局聚类结构,并自适应地为不同的图选择合适的顺序。通过对基准数据集的理论分析和大量实验,验证了该方法的有效性。实验结果表明,该方法与现有的方法相比具有较好的优越性。

网址:https://www.zhuanzhi.ai/paper/bae18963457b08322d58e01c90e8e467

3、Dynamic Hypergraph Neural Networks

作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要:近年来,基于图/超图(graph/hypergraph)的深度学习方法引起了研究者的广泛关注。这些深度学习方法以图/超图结构作为模型的先验知识。然而,隐藏的重要关系并没有直接表现在内在结构中。为了解决这个问题,我们提出了一个动态超图神经网络框架(DHGNN),它由两个模块的堆叠层组成:动态超图构造(DHG)和超图卷积(HGC)。考虑到最初构造的超图可能不适合表示数据,DHG模块在每一层上动态更新超图结构。然后引入超图卷积对超图结构中的高阶数据关系进行编码。HGC模块包括两个阶段:顶点卷积和超边界卷积,它们分别用于聚合顶点和超边界之间的特征。我们已经在标准数据集、Cora引文网络和微博数据集上评估了我们的方法。我们的方法优于最先进的方法。通过更多的实验验证了该方法对不同数据分布的有效性和鲁棒性。

网址:https://www.ijcai.org/proceedings/2019/0366.pdf

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者:Hogun Park and Jennifer Neville;

摘要:节点分类是关系机器学习中的一个重要问题。然而,在图边表示实体间交互的场景中(例如,随着时间的推移),大多数当前方法要么将交互信息汇总为链接权重,要么聚合链接以生成静态图。在本文中,我们提出了一种神经网络结构,它可以同时捕获时间和静态交互模式,我们称之为Temporal-Static-Graph-Net(TSGNet)。我们的主要观点是,利用静态邻居编码器(可以学习聚合邻居模式)和基于图神经网络的递归单元(可以捕获复杂的交互模式),可以提高节点分类的性能。在我们对节点分类任务的实验中,与最先进的方法相比,TSGNet取得了显著的进步——与四个真实网络和一个合成数据集中的最佳竞争模型相比,TSGNet的分类错误减少了24%,平均减少了10%。

网址:https://www.ijcai.org/proceedings/2019/0447.pdf

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要:事件在现实世界中实时发生,可以是涉及多个人和物体的计划和组织场合。社交媒体平台发布了大量包含公共事件和综合话题的文本消息。然而,由于文本中事件元素的异构性以及显式和隐式的社交网络结构,挖掘社会事件是一项具有挑战性的工作。本文设计了一个事件元模式来表征社会事件的语义关联,并构建了一个基于事件的异构信息网络(HIN),该网络融合了外部知识库中的信息,提出了一种基于对偶流行度图卷积网络(PP-GCN)的细粒度社会事件分类模型。我们提出了一种基于事件间社会事件相似度(KIES)的知识元路径实例,并建立了一个加权邻域矩阵作为PP-GCN模型的输入。通过对真实数据收集的综合实验,比较各种社会事件检测和聚类任务。实验结果表明,我们提出的框架优于其他可选的社会事件分类技术。

网址:https://www.zhuanzhi.ai/paper/65dbfd1c2b65d01b2db1b66a3b4efdb6

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要:基于会话的推荐旨在预测用户基于匿名会话的下一步行动,是许多在线服务(比如电子商务,媒体流)中的关键任务。近年来,在不使用递归网络和卷积网络的情况下,自注意力网络(SAN)在各种序列建模任务中取得了显著的成功。然而,SAN缺乏存在于相邻商品上的本地依赖关系,并且限制了其学习序列中商品的上下文表示的能力。本文提出了一种利用图神经网络和自注意力机制的图上下文自注意力模型(GC-SAN),用于基于会话的推荐。在GC-SAN中,我们动态地为会话序列构造一个图结构,并通过图神经网络(GNN)捕获丰富的局部依赖关系。然后,每个会话通过应用自注意力机制学习长期依赖关系。最后,每个会话都表示为全局首选项和当前会话兴趣的线性组合。对两个真实数据集的大量实验表明,GC-SAN始终优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0547.pdf

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要:基于深度网络的跨模态检索近年来取得了显著的进展。然而,弥补模态差异,进一步提高检索精度仍然是一个关键的瓶颈。本文提出了一种图卷积哈希(GCH)方法,该方法通过关联图学习模态统一的二进制码。一个端到端深度体系结构由三个主要组件构成:语义编码模块、两个特征编码网络和一个图卷积网络(GCN)。我们设计了一个语义编码器作为教师模块来指导特征编码过程,即学生模块,用于语义信息的挖掘。此外,利用GCN研究数据点之间的内在相似性结构,有助于产生有区别的哈希码。在三个基准数据集上的大量实验表明,所提出的GCH方法优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0138.pdf

成为VIP会员查看完整内容
0
70

【导读】自然语言处理国际顶级会议EMNLP 2019于11月3日至11月7日在中国香港举行。为了带大家领略高质量论文,专知小编特意整理了六篇EMNLP 2019GNN相关论文,并附上论文链接供参考——命名实体识别、情感分类、对话图卷积网络、数据生成文本、短文本分类、Aspect-level情感分类等。

1、A Lexicon-Based Graph Neural Network for Chinese NER

作者:Tao Gui, Yicheng Zou, Qi Zhang;

摘要:递归神经网络(RNN)用于中文命名实体识别(NER)中,能够对文字信息进行顺序跟踪,取得了很大的成功。然而,由于链式结构的特点和缺乏全局语义,基于RNN的模型容易产生歧义。本文试图通过引入一种全局语义的基于词典的图神经网络来解决这一问题,该网络利用词典知识连接字符来捕获局部成分,而全局中继节点则可以捕获全局句子语义和长距离依赖。基于字符、潜在单词和整个句子语义之间的多重交互,可以有效地解决单词歧义。在4个NER数据集的实验表明,该模型与其他基线模型相比有显著的改进。

网址:

http://qizhang.info/paper/emnlp-2019.ner.pdf

2、Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

作者:Chen Zhang, Qiuchi Li, Dawei Song;

摘要:注意机制和卷积神经网络(CNNs)由于其固有的方面和上下文词的语义对齐能力,被广泛应用于基于方面的情感分类。然而,这些模型缺乏一种机制来解释相关的句法约束和长距离的词语依赖,因此可能会错误地将句法无关的上下文词作为判断方面情绪的线索。为了解决这个问题,我们提出在句子的依存树上建立一个图卷积网络(GCN),以利用句法信息和词的依存关系。在此基础上,提出了一种新的面向方面的情感分类框架。在三个基准集合上的实验表明,我们所提出的模型比一系列最先进的模型更具有相当的有效性,并且进一步证明了图卷积结构能够恰当地捕获语法信息和长距离字的依赖关系。

网址: https://www.zhuanzhi.ai/paper/c995fe87d66236f1a22ba1c861647085

3、DialogueGCN A Graph Convolutional Neural Network for Emotion Recognition in Conversation

作者:Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, Alexander Gelbukh;

摘要:会话情感识别(ECC)由于其在医疗、教育、人力资源等多个领域的广泛应用,近年来受到了研究者的广泛关注。在本文中,我们提出了对话图卷积网络(DialogueGCN),基于图神经网络的ERC方法。我们利用对话者的自言和对话人之间的依赖关系来为情绪识别建立会话环境模型。DialogueGCN通过图形网络解决了当前基于RNN的方法中存在的上下文传播问题。我们经验表明,这种方法缓解了这样的问题,同时在一些基准的情绪分类数据集上超过了目前的状态。

网址:https://www.zhuanzhi.ai/paper/d1c2ea04a1170cd5a5541f606186a125

4、Enhancing AMR-to-Text Generation with Dual Graph Representations

作者:Leonardo F. R. Ribeiro, Claire Gardent, Iryna Gurevych;

摘要:基于图的数据生成文本,如抽象意义表示(AMR),是一个具有挑战性的任务,因为如何正确地对具有标记边的图的结构进行编码存在固有的困难。为了解决这一难题,我们提出了一种新的图-序列模型,该模型对AMR图中包含的结构信息的不同但互补的透视图进行编码。该模型学习节点的自顶向下和自下而上的并行表示,以捕获图的对比视图。我们还研究了不同节点消息传递策略的使用,使用不同的最先进的图形编码器来计算基于传入和传出透视图的节点表示。在我们的实验中,我们证明了对偶图表示法可以改进AMR到文本的生成,从而在两个AMR数据集上取得了最先进的效果。

网址: https://arxiv.org/abs/1909.00352

5、Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification

作者:Linmei Hu, Tianchi Yang, Chuan Shi, Houye Ji, Xiaoli Li ;

摘要:短文本分类在新闻和推特标记中得到了丰富而重要的应用,以帮助用户查找相关信息。由于在许多实际用例中缺乏标记的训练数据,因此迫切需要研究半监督短文本分类。现有的研究大多集中在长文本上,由于标记数据的稀疏性和局限性,在短文本上的表现不尽人意。本文提出了一种新的基于异构图神经网络的半监督短文本分类方法,该方法充分利用了标记数据少和未标记数据大的优点,实现了信息在图上的传播。特别是,我们提出了一种灵活的HIN(异构信息网络)框架,用于建模短文本,它可以集成任何类型的附加信息,并捕获它们之间的关系来解决语义稀疏性。然后,我们提出了基于节点级和类型级注意的双重注意机制的异构图注意网络(HGAT)嵌入HIN进行短文本分类。注意机制可以学习不同相邻节点的重要性,以及不同节点(信息)类型对当前节点的重要性。大量的实验结果表明,我们提出的模型在6个基准数据集上的性能显著优于最先进的方法。

网址: http://shichuan.org/doc/74.pdf

6、Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

作者:Binxuan Huang, Kathleen M. Carley ;

摘要:Aspect-level情感分类旨在识别向上下文语句给出的aspect表达的情绪。以往的基于神经网络的方法在很大程度上忽略了句子的句法结构。在本文中,我们提出了一种新的目标依赖图注意力网络(TD-GAT)来进行方面层次的情感分类,该网络明确利用了词语之间的依赖关系。使用依赖图,它直接从一个方面目标的语法上下文传播情感特征。在我们的实验中,我们证明了我们的方法优于使用GloVe嵌入的多个基线。我们还证明了使用BERT表示可以进一步显著地提高性能。

网址:

https://www.zhuanzhi.ai/paper/f1eb3b3fe03a1b84427aaebb68021054

成为VIP会员查看完整内容
0
55
小贴士
相关主题
相关VIP内容
专知会员服务
10+阅读 · 6月14日
必读的7篇IJCAI 2019【图神经网络(GNN)】相关论文-Part2
专知会员服务
48+阅读 · 2020年1月10日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
70+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
29+阅读 · 2020年1月10日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
55+阅读 · 2019年11月3日
相关论文
Mohit Kumar,Bernhard A. Moser,Lukas Fischer,Bernhard Freudenthaler
0+阅读 · 6月14日
Xu Zou,Qinkai Zheng,Yuxiao Dong,Xinyu Guan,Evgeny Kharlamov,Jialiang Lu,Jie Tang
0+阅读 · 6月12日
Seongjun Yun,Minbyul Jeong,Raehyun Kim,Jaewoo Kang,Hyunwoo J. Kim
9+阅读 · 2020年2月5日
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
12+阅读 · 2019年11月6日
Kernel Graph Attention Network for Fact Verification
Zhenghao Liu,Chenyan Xiong,Maosong Sun
3+阅读 · 2019年10月23日
Graph Analysis and Graph Pooling in the Spatial Domain
Mostafa Rahmani,Ping Li
4+阅读 · 2019年10月3日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
7+阅读 · 2019年6月13日
Deep Graph Infomax
Petar Veličković,William Fedus,William L. Hamilton,Pietro Liò,Yoshua Bengio,R Devon Hjelm
9+阅读 · 2018年12月21日
Learning Graph Embeddings from WordNet-based Similarity Measures
Andrey Kutuzov,Alexander Panchenko,Sarah Kohail,Mohammad Dorgham,Oleksiy Oliynyk,Chris Biemann
3+阅读 · 2018年8月16日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
6+阅读 · 2018年2月4日
Top