注意力图神经网络的小样本学习

2020 年 7 月 16 日 专知

图神经网络(GNN)已经在许多具有挑战性的应用中展示了优越的性能,包括小样本学习任务。尽管GNN具有强大的从少量样本中学习和归纳的能力,但随着模型的深入,GNN通常会出现严重的过拟合和过平滑问题,这限制了模型的可扩展性。在这项工作中,我们提出了一个新的注意力GNN来解决这些挑战,通过合并三重注意机制,即节点自我注意,邻居注意和层记忆注意力。我们通过理论分析和实例说明了所提出的注意模块可以改善小样本学习的GNN的原因。广泛的实验表明,在mini-ImageNet 和Tiered-ImageNet数据集上,通过诱导和直推设置,提出的注意力GNN在小样本学习方面优于基于最先进的GNN方法。

https://www.zhuanzhi.ai/paper/53f805bc756339df20d9cc338b025cd4

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GNNFSL” 可以获取《注意力图神经网络的小样本学习》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
登录查看更多
5

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
66+阅读 · 2020年10月6日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
127+阅读 · 2020年4月25日
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
26+阅读 · 2020年4月1日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
【资源】元学习论文分类列表推荐
专知
19+阅读 · 2019年12月3日
【资源】图深度学习文献列表
专知
42+阅读 · 2019年11月6日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
14+阅读 · 2019年9月11日
Arxiv
13+阅读 · 2019年1月26日
Arxiv
26+阅读 · 2017年12月6日
VIP会员
相关VIP内容
【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
66+阅读 · 2020年10月6日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
127+阅读 · 2020年4月25日
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
26+阅读 · 2020年4月1日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
Top
微信扫码咨询专知VIP会员