As graph data collected from the real world is merely noise-free, a practical representation of graphs should be robust to noise. Existing research usually focuses on feature smoothing but leaves the geometric structure untouched. Furthermore, most work takes L2-norm that pursues a global smoothness, which limits the expressivity of graph neural networks. This paper tailors regularizers for graph data in terms of both feature and structure noises, where the objective function is efficiently solved with the alternating direction method of multipliers (ADMM). The proposed scheme allows to take multiple layers without the concern of over-smoothing, and it guarantees convergence to the optimal solutions. Empirical study proves that our model achieves significantly better performance compared with popular graph convolutions even when the graph is heavily contaminated.


翻译:由于从真实世界收集的图表数据仅仅是无噪音的,因此,图表的实用表达方式应该对噪音具有很强的活力。现有的研究通常侧重于地貌平滑,但没有触及几何结构。此外,大多数工作都采用L2-norm,追求全球光滑,这限制了图形神经网络的表达性。本文从特征和结构噪音两方面对图形数据进行规范化,其中客观功能与乘数交替方向法(ADMM)有效解决。拟议办法允许在不担心过度悬浮的情况下采用多层,并确保与最佳解决方案趋同。 经验性研究证明,即使在图表受到严重污染的情况下,我们的模型也比流行的图形共变情况要好得多。

0
下载
关闭预览

相关内容

专知会员服务
27+阅读 · 2021年5月2日
最新《深度学习理论》笔记,68页pdf
专知会员服务
49+阅读 · 2021年2月14日
专知会员服务
19+阅读 · 2020年12月9日
专知会员服务
52+阅读 · 2020年11月3日
专知会员服务
44+阅读 · 2020年10月31日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【荟萃】知识图谱论文与笔记
专知
71+阅读 · 2019年3月25日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
7+阅读 · 2021年10月19日
Arxiv
10+阅读 · 2021年2月26日
Arxiv
13+阅读 · 2019年11月14日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年5月2日
最新《深度学习理论》笔记,68页pdf
专知会员服务
49+阅读 · 2021年2月14日
专知会员服务
19+阅读 · 2020年12月9日
专知会员服务
52+阅读 · 2020年11月3日
专知会员服务
44+阅读 · 2020年10月31日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【荟萃】知识图谱论文与笔记
专知
71+阅读 · 2019年3月25日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员