In deep neural networks, better results can often be obtained by increasing the complexity of previously developed basic models. However, it is unclear whether there is a way to boost performance by decreasing the complexity of such models. Here, based on an optimization method, we investigate the feasibility of improving graph classification performance while simplifying the model learning process. Inspired by progress in structural information assessment, we optimize the given data sample from graphs to encoding trees. In particular, we minimize the structural entropy of the transformed encoding tree to decode the key structure underlying a graph. This transformation is denoted as structural optimization. Furthermore, we propose a novel feature combination scheme, termed hierarchical reporting, for encoding trees. In this scheme, features are transferred from leaf nodes to root nodes by following the hierarchical structures of encoding trees. We then present an implementation of the scheme in a tree kernel and a convolutional network to perform graph classification. The tree kernel follows label propagation in the Weisfeiler-Lehman (WL) subtree kernel, but it has a lower runtime complexity $O(n)$. The convolutional network is a special implementation of our tree kernel in the deep learning field and is called Encoding Tree Learning (ETL). We empirically validate our tree kernel and convolutional network with several graph classification benchmarks and demonstrate that our methods achieve better performance and lower computational consumption than competing approaches.


翻译:在深心神经网络中,通过增加先前开发的基本模型的复杂性,往往可以取得更好的结果。然而,还不清楚是否有一种方法通过降低这些模型的复杂性来提高绩效。在这里,我们根据优化方法,调查改进图表分类性能的可行性,同时简化模型学习过程。在结构信息评估进展的启发下,我们优化了从图表到编码树的给定数据样本。特别是,我们尽量减少了变换的编码树的结构酶,以解译图形背后的关键结构。这种转变被称作结构优化。此外,我们为编码树提出了一个新的功能组合方案,称为等级报告。在这个方案中,根据编码树的分级结构,将功能从叶节转移到根节点。我们随后在树骨和变动网络中介绍该计划的执行情况,以进行图表分类。树骨骼在Wisfeiler-Lehman (WL) 亚树根骨中进行标签传播,但这种变形被称为结构优化。但这种变形复杂程度较低。在这个方案中,“变形”网络将采用一种特别的、变形和变型的计算方法,我们称为“我们“我们”的树本”的、变式计算和变式”的计算方法。我们“我们“我们“的”的”的“我们”的“我们”的“我们”系统”的“的”和“系统”系统”系统”的“的“学习”的“的”系统”的“我们学习”的”的“我们学习了一种特别的”的“树本”的“我们的“的”的”的“我们的”的”的”的“我们的”的”和“我们的”的”的“我们的”的“的”的”的”的”的”的“我们的“我们的”的“我们的“我们的“我们的”的“树本”的”的”的”的”的”的”的”的”的“的”的”的“我们的”的“我们的”的”的”的”和“我们的”的“我们的“我们的“树的”的“的”和“我们的”的”的”的”的”的”的”和“我们的”的”的“我们的“我们的”的“我们的”的“我们的“的”的”的“我们的”的”的“

0
下载
关闭预览

相关内容

专知会员服务
27+阅读 · 2021年5月2日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
Arxiv
9+阅读 · 2021年10月1日
Arxiv
4+阅读 · 2020年10月18日
Arxiv
3+阅读 · 2020年2月5日
Arxiv
13+阅读 · 2019年11月14日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
5+阅读 · 2019年6月5日
VIP会员
相关资讯
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Jointly Improving Summarization and Sentiment Classification
黑龙江大学自然语言处理实验室
3+阅读 · 2018年6月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
相关论文
Arxiv
9+阅读 · 2021年10月1日
Arxiv
4+阅读 · 2020年10月18日
Arxiv
3+阅读 · 2020年2月5日
Arxiv
13+阅读 · 2019年11月14日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
5+阅读 · 2019年6月5日
Top
微信扫码咨询专知VIP会员