Recent years have witnessed the popularity and success of graph neural networks (GNN) in various scenarios. To obtain data-specific GNN architectures, researchers turn to neural architecture search (NAS), which has made impressive success in discovering effective architectures in convolutional neural networks. However, it is non-trivial to apply NAS approaches to GNN due to challenges in search space design and the expensive searching cost of existing NAS methods. In this work, to obtain the data-specific GNN architectures and address the computational challenges facing by NAS approaches, we propose a framework, which tries to Search to Aggregate NEighborhood (SANE), to automatically design data-specific GNN architectures. By designing a novel and expressive search space, we propose a differentiable search algorithm, which is more efficient than previous reinforcement learning based methods. Experimental results on four tasks and seven real-world datasets demonstrate the superiority of SANE compared to existing GNN models and NAS approaches in terms of effectiveness and efficiency. (Code is available at: https://github.com/AutoML-4Paradigm/SANE).


翻译:近些年来,由于在搜索空间设计方面的挑战和现有NAS方法的昂贵搜索成本,将NAS方法应用于GNS方法并不难。在这项工作中,为了获得数据专用GNN结构,并解决NAS方法所面临的计算挑战,我们提议了一个框架,试图搜索集成的Neghborhood(SANE),自动设计数据专用GNN结构。通过设计新的和清晰的搜索空间,我们提出了一个不同的搜索算法,比以前基于强化学习的方法效率更高。四项任务和七个实际世界数据集的实验结果显示了SANE相对于现有的GNN模型和NAS方法在效力和效率方面的优势(Code可查到: https://github.com/AutomML-4Pagim/SANE)。

0
下载
关闭预览

相关内容

【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
156+阅读 · 2020年5月26日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
95+阅读 · 2020年3月25日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
110+阅读 · 2020年2月22日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
0+阅读 · 2021年6月10日
Arxiv
0+阅读 · 2021年6月7日
Arxiv
5+阅读 · 2021年2月8日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
0+阅读 · 2021年6月10日
Arxiv
0+阅读 · 2021年6月7日
Arxiv
5+阅读 · 2021年2月8日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
10+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员