注意力机制(AttentionMechanism)最初在机器翻译模型中被引入并使用,现在已经成 为自然语 言 处 理 (NaturalLanguageProcessing,NLP)、计 算 机 视 觉 (ComputerVision, CV)、语音识别(SpeechRecognition,SR)领域中神经网络模型的重要组成部分。近年来,有 些研究人员将注意力机制应用到图神经网络模型中,取得了很好的效果。本章聚焦于图注意力网络模型,依次介绍注意力机制的概念、图注意力网络的分类,以及四个典型的注意力模型: 图注意力 网 络 模 型(GraphAttentionNetworks,GAT)、异 质 图 注 意 力 网 络(Heterogeneous GraphAttentionNetworks,HAN)、门控注意力网络(GatedAttentionNetworks,GaAN)和层 次图注意力网络(HierarchicalGraphAttentionNetworks,HGAT)

成为VIP会员查看完整内容
53
0

相关内容

图注意力网络(Graph Attention Network,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现了对不同邻居权重的自适应分配,从而大大提高了图神经网络模型的表达能力。
【IJCAI2021】深度点击率预估模型综述论文,9页pdf
专知会员服务
25+阅读 · 2021年5月11日
专知会员服务
51+阅读 · 2021年2月4日
华为等发布《视觉Transformer转换器》综述论文,21页pdf
专知会员服务
73+阅读 · 2020年12月25日
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
122+阅读 · 2020年12月20日
【干货书】机器学习速查手册,135页pdf
专知会员服务
78+阅读 · 2020年11月20日
专知会员服务
117+阅读 · 2020年8月24日
注意力机制模型最新综述
专知会员服务
219+阅读 · 2019年10月20日
【图神经网络入门】GAT图注意力网络
深度学习自然语言处理
24+阅读 · 2020年5月16日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
10+阅读 · 2019年2月26日
干货!自然语言处理中的自注意力机制!
全球人工智能
11+阅读 · 2018年3月27日
图注意力网络
科技创新与创业
32+阅读 · 2017年11月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
12+阅读 · 2月24日
Recent advances in deep learning theory
Arxiv
44+阅读 · 2020年12月20日
Arxiv
115+阅读 · 2020年9月6日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
35+阅读 · 2020年7月14日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Heterogeneous Deep Graph Infomax
Arxiv
10+阅读 · 2019年11月19日
Arxiv
14+阅读 · 2019年4月4日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
14+阅读 · 2018年8月30日
小贴士
相关VIP内容
【IJCAI2021】深度点击率预估模型综述论文,9页pdf
专知会员服务
25+阅读 · 2021年5月11日
专知会员服务
51+阅读 · 2021年2月4日
华为等发布《视觉Transformer转换器》综述论文,21页pdf
专知会员服务
73+阅读 · 2020年12月25日
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
122+阅读 · 2020年12月20日
【干货书】机器学习速查手册,135页pdf
专知会员服务
78+阅读 · 2020年11月20日
专知会员服务
117+阅读 · 2020年8月24日
注意力机制模型最新综述
专知会员服务
219+阅读 · 2019年10月20日
相关资讯
【图神经网络入门】GAT图注意力网络
深度学习自然语言处理
24+阅读 · 2020年5月16日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
10+阅读 · 2019年2月26日
干货!自然语言处理中的自注意力机制!
全球人工智能
11+阅读 · 2018年3月27日
图注意力网络
科技创新与创业
32+阅读 · 2017年11月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
相关论文
Arxiv
12+阅读 · 2月24日
Recent advances in deep learning theory
Arxiv
44+阅读 · 2020年12月20日
Arxiv
115+阅读 · 2020年9月6日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
35+阅读 · 2020年7月14日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Heterogeneous Deep Graph Infomax
Arxiv
10+阅读 · 2019年11月19日
Arxiv
14+阅读 · 2019年4月4日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
14+阅读 · 2018年8月30日
微信扫码咨询专知VIP会员