图神经网络架构搜索(Graph Neural Architecture Search, GNAS)在各种图结构任务中取得了优异的性能。然而,现有的GNAS研究忽略了GNAS在资源受限场景中的应用。本文提出设计一种联合图数据和架构机制,通过有价值的图数据识别重要的子架构。为了搜索最优的轻量级图神经网络(Graph Neural Networks, GNNs),我们提出了一种结合课程图稀疏化和网络剪枝的轻量级图神经网络架构搜索(GASSIP)方法。具体来说,GASSIP包括一个操作剪枝的架构搜索模块,以实现高效的轻量级GNN搜索。同时,我们设计了一个新颖的课程图数据稀疏化模块,并结合架构感知的边删除难度测量来帮助选择最优的子架构。在两个可微掩码的帮助下,我们迭代优化这两个模块,以高效地搜索最优的轻量级架构。在五个基准上的广泛实验表明,GASSIP的有效性。特别是,我们的方法在节点分类性能方面达到相当甚至更高的水平,同时所搜索的GNN模型参数减半或更少,且图更加稀疏。

成为VIP会员查看完整内容
17

相关内容

【KDD2023】协同过滤的高效联合超参数和架构搜索
专知会员服务
22+阅读 · 2023年7月23日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
专知会员服务
25+阅读 · 2021年9月10日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
24+阅读 · 2021年7月11日
专知会员服务
14+阅读 · 2021年6月26日
专知会员服务
10+阅读 · 2021年3月21日
专知会员服务
19+阅读 · 2020年12月9日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
26+阅读 · 2020年11月14日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
Arxiv
157+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
399+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
Arxiv
20+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【KDD2023】协同过滤的高效联合超参数和架构搜索
专知会员服务
22+阅读 · 2023年7月23日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
专知会员服务
25+阅读 · 2021年9月10日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
24+阅读 · 2021年7月11日
专知会员服务
14+阅读 · 2021年6月26日
专知会员服务
10+阅读 · 2021年3月21日
专知会员服务
19+阅读 · 2020年12月9日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
26+阅读 · 2020年11月14日
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
37+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员