成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
Graph Normalization (GN):为图神经网络学习一个有效的图归一化
2020 年 9 月 28 日
极市平台
↑ 点击
蓝字
关注极市平台
作者|平安产险视觉计算组
编辑丨极市平台
本文为极市开发者投稿,转载请获授权。
极市专栏
论文推荐:在图神经网络里面,应该如何选择更好的归一化技术?本文将介绍一种为图神经网络学习有效的图归一化的方式。
摘要
作者在不同任务中尝试了节点式归一化(Node-wise),邻接式归一化(Adjance-wise),图式归一化(Graph-wise)和批处理归一化(Batch-wise)作为归一化计算方式,来分析每种归一化方式的优劣,并提出一种基于学习的四合一自动加权组合的方式来学习适合当前任务的图归一化。
Paper:
Learning Graph Normalization for Graph Neural Networks
https://arxiv.org/abs/2009.11746
Source Code:
https://github.com/cyh1112/GraphNormalization
背景
图神经网络(GNN)近年来吸引了大量的关注,因为图神经网络成为了处理图结构数据最有希望的一种范例。图神经网络通过堆叠多层,每一层通过节点间的信息传递与聚合来更新每个节点的表示,多层信息传递,可以捕捉远程节点之间的依赖关系,而带来更好的性能。要训练一个多层的GNN,归一化技术是必不可少的。但不同的归一化技术对不同任务有不一样的表现,最近arXiv上公开的一篇文章《Learning Graph Normalization for Graph Neural Networks》探讨了在图神经网络里面,应该如何选择更好的归一化技术。
核心思想介绍
首先我们来看在论文中提到的四种归一化技术,(a)节点式(node-wise)归一化,其实类似于NLP里面的层归一化(LayerNorm), 每个节点单独来计算归一化;(b)邻接式归一化(Adjance-wise)是将该节点的邻接节点信息加进来一起计算归一化,在查阅源代码之后,这一点实现作者用了一个比较巧妙的实现方式,利用dgl的消息传递机制,邻接节点特征聚合到中心节点之后再计算归一化,等于是做了两次的信息传递。(c)图式(Graph-wise)归一化, 就是利用整个图所有节点的特征来计算归一化,归一化只考虑图内信息,而不是考虑整个数据库的分布。(d)批处理式(Batch-wise)归一化,在CV领域最常用的归一化方式。(e)(f)(g)(h)是同样的计算,在图的边上的体现。
节点式归一化Node-wise Normalization计算如下:,
本质上Node-wise Normalization和LayerNorm的计算方式是一样的, 只是LayerNorm经常用在NLP任务中,NLP任务中数据大多是Sequence化的,如Transformer, Bert。而图中的数据不一定是序列化,大多数情况下不是序列化的,因此Node-wise Normalization对哪类图问题会比较好是疑问。
邻接式的归一化计算Adjance-wsie Normalization如下:
其中k表示第k个图, i表示第i个节点, 表示第k个图中第i个节点的所有近邻节点。
邻接式的Normalization的计算量要大一点。
图式的归一化计算 Graph-wise Normalization如下:
其中
表示第k个图中的所有节点,
表示第k个图中所有节点的数量。
批处理式的归一化计算 Batch-wise Normalization如下:
Batch-wise Normalization和BN本质上也是等价的。BN是CV中至关重要的一个技术,有效的改善了梯度爆炸的问题。
除了以上四种归一化技术之后,作者还提出一种自动学习加权组合的归一化技术(United Graph Normalization), 将以上四种归一化技术,加上可学习权重lambda,在lambda可视化中也可以看到,这个lambda权重学习有一定倾向性,作用越大的归一化方式,对应lambda权重越大,公式如下:
在不同数据集上,随着层次变化权重的分布图如下:
在节点分类上,图式的归一化效果好,它在最后一层的权重就大,在图分类和图回归上面批处理式的效果好,它在最后一层权重就大。在边预测问题上面规律没有图分类回归明显。
4种归一化方法分析
节点式归一化:
等同于层归一化(LayerNorm),只考虑自身特征,但忽略了邻域和图结构等信息。
邻接式归一化:
计算引入邻接节点的信息,能反映节点在不同邻域的差异。
图式归一化:
在单图做归一化,能体现图内节点在图中的差异,在节点分类任务中表现更加优异。
批处理归一化:
与标准的批处理归一化一样,但当在单图任务上时,与图式归一化相似。只是在训练的时候一个用momentum,一个不用。
实验
论文除了follow [1]中的实验之外,还做了一个关键信息抽取SROIE的任务,这个任务有四个关键字段,’公司名’、’地址’、’时间’、’合计金额’,如下图所示。论文把关键信息抽取看出是一个节点分类任务,其中’公司名’和’地址’可能包含多行,也就是多个节点,只有当所关键字段包含的所有节点都同时分类正确才算对,否则就算错误。
结果如下表:
结论
在实验结果和lambda的可视化分析中,我们可以发现,图式归一化和邻接式的归一化在节点分类上性能突出,这也说明节点分类更依赖节点所在邻域信息,或者节点所在图中位置的信息。而批处理归一化在在图分类和图回归任务中表现很好。而组合式的归一化( United Graph Normalization)可以调节不同归一化结果的比重,来达到更好的性能,同时也有一个体现,lambda权重越大,对应单一归一化结果也更好。我们也可以通过lambda的分布来判断哪种归一化更适合。
作者团队
产险视觉计算组(VC组)专注解决金融保险领域的计算机视觉应用问题,在ICDAR 2019票据识别及关键信息3个任务中,团队分别斩获第二,第三,第一名。同时,在Kaggle举办的百度/北大无人驾驶比赛中,获得亚军。团队积极创新,已有多项自研OCR 、关键性信息抽取技术。
Tips
◎本文为极市开发者原创投稿,转载请注明来源。
◎极市「论文推荐」专栏,帮助开发者们推广分享自己的最新工作,欢迎大家投稿。联系极市小编(fengcall19)即可投稿~
推荐阅读
详解Batch Normalization及其反向传播
常用 Normalization 方法的总结与思考:BN、LN、IN、GN
如何区分并记住常见的几种 Normalization 算法
添加极市小助手微信
(ID : cvmart2)
,备注:
姓名-学校/公司-研究方向-城市
(如:小极-北大-
目标检测-
深圳),即可申请加入
极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解
等技术交流群:
每
月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、
与
10000+
来自
港科大、北大、清华、中科院、CMU、腾讯、百度
等名校名企视觉开发者互动交流
~
△长按添加极市小助手
△长按关注极市平台,获取
最新CV干货
觉得有用麻烦给个在看啦~
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
归一化
关注
0
【KDD2020】图神经网络的无冗余计算
专知会员服务
37+阅读 · 2020年11月24日
【NeurIPS2020】点针图网络,Pointer Graph Networks
专知会员服务
39+阅读 · 2020年9月27日
系列教程GNN-algorithms之七:《图同构网络—GIN》
专知会员服务
47+阅读 · 2020年8月9日
系列教程GNN-algorithms之六:《多核卷积拓扑图—TAGCN》
专知会员服务
49+阅读 · 2020年8月8日
系列教程GNN-algorithms之五:《注意力机制在图上的应用—GAT》
专知会员服务
64+阅读 · 2020年8月7日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
GRAPH-BERT :学习图表示只需要注意力,GRAPH-BERT : Only Attention is Needed for Learning Graph Representations
专知会员服务
77+阅读 · 2020年5月31日
具有组合核的图神经网络,Graph Neural Networks with Composite Kernels
专知会员服务
58+阅读 · 2020年5月20日
【伯克利】再思考 Transformer中的Batch Normalization
专知会员服务
40+阅读 · 2020年3月21日
Transformers就是图神经网络?NTU-Chaitanya Joshi论述: 是GNN的一个特例
专知会员服务
28+阅读 · 2020年3月1日
Transformers就是图神经网络?NTU-Chaitanya Joshi论述: 是GNN的一个特例
专知
20+阅读 · 2020年3月1日
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
65+阅读 · 2020年2月27日
GraphSAGE: GCN落地必读论文
AI100
29+阅读 · 2019年8月15日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
GraphSAGE:我寻思GCN也没我牛逼
极市平台
11+阅读 · 2019年8月12日
送你200+篇论文,学习图或图神经网络必读!(附下载)
数据派THU
19+阅读 · 2019年7月23日
高效、简单、易实现 | 多任务+注意力机制的学习(文末有福利)
计算机视觉战队
3+阅读 · 2019年3月3日
图神经网络将成AI下一拐点!MIT斯坦福一文综述GNN到底有多强
新智元
26+阅读 · 2019年2月27日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
Unsupervised Neural Domain Adaptation for Document Image Binarization
Arxiv
0+阅读 · 2020年12月2日
Bridging the Gap Between Spectral and Spatial Domains in Graph Neural Networks
Arxiv
15+阅读 · 2020年3月26日
DropEdge: Towards Deep Graph Convolutional Networks on Node Classification
Arxiv
4+阅读 · 2020年1月9日
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
Arxiv
13+阅读 · 2019年5月22日
DAGCN: Dual Attention Graph Convolutional Networks
Arxiv
15+阅读 · 2019年4月4日
Graph Convolutional Neural Networks via Motif-based Attention
Arxiv
10+阅读 · 2019年2月25日
Dynamic Graph Neural Networks
Arxiv
24+阅读 · 2018年10月24日
How Powerful are Graph Neural Networks?
Arxiv
23+阅读 · 2018年10月1日
Towards Understanding Regularization in Batch Normalization
Arxiv
4+阅读 · 2018年9月27日
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
Arxiv
13+阅读 · 2018年9月7日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
归一化
图归一化
WISE
图神经网络
规范化
图
相关VIP内容
【KDD2020】图神经网络的无冗余计算
专知会员服务
37+阅读 · 2020年11月24日
【NeurIPS2020】点针图网络,Pointer Graph Networks
专知会员服务
39+阅读 · 2020年9月27日
系列教程GNN-algorithms之七:《图同构网络—GIN》
专知会员服务
47+阅读 · 2020年8月9日
系列教程GNN-algorithms之六:《多核卷积拓扑图—TAGCN》
专知会员服务
49+阅读 · 2020年8月8日
系列教程GNN-algorithms之五:《注意力机制在图上的应用—GAT》
专知会员服务
64+阅读 · 2020年8月7日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
GRAPH-BERT :学习图表示只需要注意力,GRAPH-BERT : Only Attention is Needed for Learning Graph Representations
专知会员服务
77+阅读 · 2020年5月31日
具有组合核的图神经网络,Graph Neural Networks with Composite Kernels
专知会员服务
58+阅读 · 2020年5月20日
【伯克利】再思考 Transformer中的Batch Normalization
专知会员服务
40+阅读 · 2020年3月21日
Transformers就是图神经网络?NTU-Chaitanya Joshi论述: 是GNN的一个特例
专知会员服务
28+阅读 · 2020年3月1日
热门VIP内容
开通专知VIP会员 享更多权益服务
OpenAI十二天总结与Agent新范式
【伯克利博士论文】高效深度学习推理的全栈方法
【AAAI2025】多层次最优传输用于语言模型中的通用跨标记器知识蒸馏
大规模语言模型增强推荐系统:分类、趋势、应用与未来
相关资讯
Transformers就是图神经网络?NTU-Chaitanya Joshi论述: 是GNN的一个特例
专知
20+阅读 · 2020年3月1日
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
65+阅读 · 2020年2月27日
GraphSAGE: GCN落地必读论文
AI100
29+阅读 · 2019年8月15日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
GraphSAGE:我寻思GCN也没我牛逼
极市平台
11+阅读 · 2019年8月12日
送你200+篇论文,学习图或图神经网络必读!(附下载)
数据派THU
19+阅读 · 2019年7月23日
高效、简单、易实现 | 多任务+注意力机制的学习(文末有福利)
计算机视觉战队
3+阅读 · 2019年3月3日
图神经网络将成AI下一拐点!MIT斯坦福一文综述GNN到底有多强
新智元
26+阅读 · 2019年2月27日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
相关论文
Unsupervised Neural Domain Adaptation for Document Image Binarization
Arxiv
0+阅读 · 2020年12月2日
Bridging the Gap Between Spectral and Spatial Domains in Graph Neural Networks
Arxiv
15+阅读 · 2020年3月26日
DropEdge: Towards Deep Graph Convolutional Networks on Node Classification
Arxiv
4+阅读 · 2020年1月9日
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
Arxiv
13+阅读 · 2019年5月22日
DAGCN: Dual Attention Graph Convolutional Networks
Arxiv
15+阅读 · 2019年4月4日
Graph Convolutional Neural Networks via Motif-based Attention
Arxiv
10+阅读 · 2019年2月25日
Dynamic Graph Neural Networks
Arxiv
24+阅读 · 2018年10月24日
How Powerful are Graph Neural Networks?
Arxiv
23+阅读 · 2018年10月1日
Towards Understanding Regularization in Batch Normalization
Arxiv
4+阅读 · 2018年9月27日
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
Arxiv
13+阅读 · 2018年9月7日
大家都在搜
洛克菲勒
自主可控
大规模语言模型
CMU博士论文
技术报告
palantir
数字主线
类脑芯片
铁塔
出海产品从 0 到 1 该怎么做
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top