Many problems in machine learning can be cast as learning functions from sets to graphs, or more generally to hypergraphs; in short, Set2Graph functions. Examples include clustering, learning vertex and edge features on graphs, and learning features on triplets in a collection. A natural approach for building Set2Graph models is to characterize all linear equivariant set-to-hypergraph layers and stack them with non-linear activations. This poses two challenges: (i) the expressive power of these networks is not well understood; and (ii) these models would suffer from high, often intractable computational and memory complexity, as their dimension grows exponentially. This paper advocates a family of neural network models for learning Set2Graph functions that is both practical and of maximal expressive power (universal), that is, can approximate arbitrary continuous Set2Graph functions over compact sets. Testing these models on different machine learning tasks, mainly an application to particle physics, we find them favorable to existing baselines.


翻译:机器学习中的许多问题可以表现为从各组到图表的学习功能,或者更一般地说到高光谱;简而言之,Set2 Gragph 函数。例子包括组合、在图表上学习顶点和边缘特征,以及收藏中三胞胎的学习特征。建立Set2Graph 模型的自然方法就是将所有线性等同定点设置到高频层定性,并用非线性活化来堆叠它们。这带来了两个挑战:(一) 这些网络的表达力没有很好地理解;以及(二) 这些模型将因高度、往往难以操作的计算和记忆复杂性而受到影响,因为它们的维度会成倍增长。本文主张对学习Set2Graph 函数使用一系列神经网络模型,这种模型既实用又具有最大表达力(通用),也就是说,可以将连续的Set2Graph函数与紧凑在一起。在不同的机体学习任务上测试这些模型,主要是对粒子物理学的应用,我们发现这些模型有利于现有的基线。

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
35+阅读 · 2020年1月2日
Arxiv
7+阅读 · 2019年5月31日
Deep Learning for Energy Markets
Arxiv
9+阅读 · 2019年4月10日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
6+阅读 · 2018年2月24日
Arxiv
3+阅读 · 2018年2月7日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
35+阅读 · 2020年1月2日
Arxiv
7+阅读 · 2019年5月31日
Deep Learning for Energy Markets
Arxiv
9+阅读 · 2019年4月10日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
6+阅读 · 2018年2月24日
Arxiv
3+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员