**在机器学习技术不断加速发展的今天,数据在构建智能模型、模拟现象、预测值、做出决策等方面起着至关重要的作用。**在越来越多的应用中,数据以网络的形式出现。网络数据固有的图结构推动了图表示学习领域的发展。它的作用范围包括为图及其组件(即节点和边)生成有意义的表示。随着消息传递框架在图上的成功应用,即图神经网络,加速了图表示学习的研究。学习图上的信息和表达性表示在广泛的现实世界应用中发挥着关键作用,从电信和社会网络、城市设计、化学和生物学。本文研究了图神经网络更具表现力的各个方面,提出了新的方法来提高它们在标准图学习任务中的性能。本论文的主要分支包括:图表示的普适性,图神经网络感受野的增加,稳定的更深层次图学习模型的设计,以及标准消息传递框架的替代方案。进行了理论和实验研究,展示了所提出的方法如何成为设计更强大的图学习模型的有价值和有效的工具。 **在论文的第一部分中,我们研究了图表示质量作为辨别能力的函数,即,我们如何容易地区分非同构的图。**首先,我们证明了标准的消息传递方案是不通用的,因为简单的聚合器无法分离具有歧义的节点(相似的属性向量和邻域结构)。基于发现的局限性,我们提出了一个简单的着色方案,可以提供普遍的表示,理论保证和实验验证的性能优势。其次,超越了标准的消息传递范式,我们提出了一种将图语料库作为一个整体来处理的方法,而不是检查图对。为此,我们学习了每个图的软排列矩阵,并将所有图投影到公共向量空间中,在图分类任务中实现了稳定的性能。

https://hal.inria.fr/tel-03666690/ **在论文的第二部分中,我们主要关注的是图神经网络的感受野,即一个节点有多少信息来更新其表示。**首先,研究了编码邻接信息的标准算子的谱特性,即图移位算子。本文提出一种新的参数算子族,可以在整个训练过程中自适应,并为依赖数据的邻域表示提供一个灵活的框架。这种方法的合并对节点分类和图分类任务都有很大的影响。研究了如何在节点表示中考虑k跳邻域信息以输出更强大的图神经网络模型。结果证明,该模型能够识别结构特性,如连通性和无三角形性。在论文的第三部分,我们解决了长程交互的问题,即位于图中较远部分的节点可以相互影响。在这样的问题中,我们要么需要设计更深层次的模型,要么需要重新表述图中如何定义邻近度。首先,研究了更深层次的注意力模型设计,以图注意力为重点;通过引入一种新的归一化来校准模型的梯度流,该归一化可实现Lipschitz连续性。其次,提出一种基于局部熵测度的数据增强方法,利用包含结构信息的信息来丰富节点属性;

成为VIP会员查看完整内容
67

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
专知会员服务
211+阅读 · 2021年8月2日
专知会员服务
65+阅读 · 2021年1月28日
最新《图神经网络实用指南》2020论文,28页pdf
专知会员服务
221+阅读 · 2020年10月17日
专知会员服务
132+阅读 · 2020年8月24日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
AAAI 2022 | 正交图神经网络
PaperWeekly
1+阅读 · 2022年11月17日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
104+阅读 · 2019年11月27日
图神经网络综述:模型与应用
PaperWeekly
197+阅读 · 2018年12月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
VIP会员
相关VIP内容
专知会员服务
211+阅读 · 2021年8月2日
专知会员服务
65+阅读 · 2021年1月28日
最新《图神经网络实用指南》2020论文,28页pdf
专知会员服务
221+阅读 · 2020年10月17日
专知会员服务
132+阅读 · 2020年8月24日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员