Normalization is known to help the optimization of deep neural networks. Curiously, different architectures require specialized normalization methods. In this paper, we study what normalization is effective for Graph Neural Networks (GNNs). First, we adapt and evaluate the existing methods from other domains to GNNs. Faster convergence is achieved with InstanceNorm compared to BatchNorm and LayerNorm. We provide an explanation by showing that InstanceNorm serves as a preconditioner for GNNs, but such preconditioning effect is weaker with BatchNorm due to the heavy batch noise in graph datasets. Second, we show that the shift operation in InstanceNorm results in an expressiveness degradation of GNNs for highly regular graphs. We address this issue by proposing GraphNorm with a learnable shift. Empirically, GNNs with GraphNorm converge faster compared to GNNs using other normalization. GraphNorm also improves the generalization of GNNs, achieving better performance on graph classification benchmarks.


翻译:已知的正常化有助于优化深神经网络。 奇怪的是, 不同的结构需要专门的正常化方法。 在本文中, 我们研究图形神经网络( GNNs) 的正常化效果。 首先, 我们调整和评估从其它领域到 GNNs 的现有方法。 与 BatchNorm 和 Dillum Norm 相比, 更快地实现了CympleNorm 的趋同。 我们通过显示CympleNorm 是 GNNNs 的前提条件, 但是由于图表数据集中的重批量噪音, BatchNorm 的这种先决条件效果更弱。 其次, 我们显示CincentNorm 的转换导致GNNNs在高常规图形中的显性退化。 我们通过提出可学习的转变来解决这个问题。 具有Gapnorm 的GNNNMs 与 GNNs 使用其他的趋同速度更快。 Gignorm 也提高了GNNs 的通用性, 在图形分类基准上取得更好的表现。

14
下载
关闭预览

相关内容

【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
已删除
创业邦杂志
5+阅读 · 2019年3月27日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
10+阅读 · 2020年6月12日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
5+阅读 · 2019年9月25日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
已删除
创业邦杂志
5+阅读 · 2019年3月27日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员