【AAAI2021】近似梯度下降的学习图神经网络

2020 年 12 月 9 日 专知


本文首先给出了一种学习节点信息卷积隐含层的图网学习算法。根据标签是附着在节点上还是附着在图上,研究了两种类型的GNN。在此基础上,提出了一个完整的GNN训练算法收敛性设计和分析框架。该算法适用于广泛的激活函数,包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。实验表明,该算法保证了对基本真实参数的线性收敛速度。对于这两种类型的GNN,都用节点数或图数来表征样本复杂度。从理论上分析了特征维数和GNN结构对收敛率的影响。数值实验进一步验证了理论分析的正确性。


https://arxiv.org/pdf/2012.03429.pdf

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“AGD” 就可以获取【AAAI2021】近似梯度下降的学习图神经网络》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
8

相关内容

AAAI2021 | 学习预训练图神经网络
专知会员服务
115+阅读 · 2021年1月28日
专知会员服务
40+阅读 · 2021年1月9日
专知会员服务
107+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
专知会员服务
37+阅读 · 2020年11月24日
专知会员服务
28+阅读 · 2020年8月8日
注意力图神经网络的小样本学习
专知会员服务
191+阅读 · 2020年7月16日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
150+阅读 · 2020年6月28日
最新《图理论》笔记书,98页pdf
专知
51+阅读 · 2020年12月27日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
最新《动态网络嵌入》综述论文,25页pdf
专知
34+阅读 · 2020年6月17日
Arxiv
0+阅读 · 2021年2月11日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Fast AutoAugment
Arxiv
5+阅读 · 2019年5月1日
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
Arxiv
23+阅读 · 2018年10月1日
LARNN: Linear Attention Recurrent Neural Network
Arxiv
5+阅读 · 2018年8月16日
VIP会员
相关VIP内容
AAAI2021 | 学习预训练图神经网络
专知会员服务
115+阅读 · 2021年1月28日
专知会员服务
40+阅读 · 2021年1月9日
专知会员服务
107+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
专知会员服务
37+阅读 · 2020年11月24日
专知会员服务
28+阅读 · 2020年8月8日
注意力图神经网络的小样本学习
专知会员服务
191+阅读 · 2020年7月16日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
150+阅读 · 2020年6月28日
相关论文
Arxiv
0+阅读 · 2021年2月11日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Fast AutoAugment
Arxiv
5+阅读 · 2019年5月1日
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
Arxiv
23+阅读 · 2018年10月1日
LARNN: Linear Attention Recurrent Neural Network
Arxiv
5+阅读 · 2018年8月16日
Top
微信扫码咨询专知VIP会员