注意力机制(AttentionMechanism)最初在机器翻译模型中被引入并使用,现在已经成 为自然语 言 处 理 (NaturalLanguageProcessing,NLP)、计 算 机 视 觉 (ComputerVision, CV)、语音识别(SpeechRecognition,SR)领域中神经网络模型的重要组成部分。近年来,有 些研究人员将注意力机制应用到图神经网络模型中,取得了很好的效果。本章聚焦于图注意力网络模型,依次介绍注意力机制的概念、图注意力网络的分类,以及四个典型的注意力模型: 图注意力 网 络 模 型(GraphAttentionNetworks,GAT)、异 质 图 注 意 力 网 络(Heterogeneous GraphAttentionNetworks,HAN)、门控注意力网络(GatedAttentionNetworks,GaAN)和层 次图注意力网络(HierarchicalGraphAttentionNetworks,HGAT)

成为VIP会员查看完整内容
60

相关内容

图注意力网络(Graph Attention Network,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现了对不同邻居权重的自适应分配,从而大大提高了图神经网络模型的表达能力。
重磅!819页pdf《动⼿学深度学习 Release 2.0.0-beta0》2022版
专知会员服务
403+阅读 · 2022年2月16日
最新《图机器学习》综述论文,19页pdf
专知会员服务
150+阅读 · 2021年5月5日
【清华大学】图神经网络交通流预测综述论文,19页pdf
专知会员服务
49+阅读 · 2021年1月29日
专知会员服务
65+阅读 · 2021年1月28日
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
136+阅读 · 2020年12月20日
专知会员服务
84+阅读 · 2020年12月5日
专知会员服务
132+阅读 · 2020年8月24日
一份简短《图神经网络GNN》笔记,入门小册
专知会员服务
224+阅读 · 2020年4月11日
【图神经网络入门】GAT图注意力网络
深度学习自然语言处理
28+阅读 · 2020年5月16日
图数据表示学习综述论文
专知
52+阅读 · 2019年6月10日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
专知
65+阅读 · 2019年4月8日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
27+阅读 · 2020年6月19日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
21+阅读 · 2018年5月23日
VIP会员
相关VIP内容
重磅!819页pdf《动⼿学深度学习 Release 2.0.0-beta0》2022版
专知会员服务
403+阅读 · 2022年2月16日
最新《图机器学习》综述论文,19页pdf
专知会员服务
150+阅读 · 2021年5月5日
【清华大学】图神经网络交通流预测综述论文,19页pdf
专知会员服务
49+阅读 · 2021年1月29日
专知会员服务
65+阅读 · 2021年1月28日
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
136+阅读 · 2020年12月20日
专知会员服务
84+阅读 · 2020年12月5日
专知会员服务
132+阅读 · 2020年8月24日
一份简短《图神经网络GNN》笔记,入门小册
专知会员服务
224+阅读 · 2020年4月11日
相关资讯
【图神经网络入门】GAT图注意力网络
深度学习自然语言处理
28+阅读 · 2020年5月16日
图数据表示学习综述论文
专知
52+阅读 · 2019年6月10日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
专知
65+阅读 · 2019年4月8日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
Arxiv
56+阅读 · 2021年5月3日
Arxiv
27+阅读 · 2020年6月19日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
21+阅读 · 2018年5月23日
微信扫码咨询专知VIP会员