A deluge of recent work has explored equivalences between wide neural networks and kernel methods. A central theme is that one can analytically find the kernel corresponding to a given wide network architecture, but despite major implications for architecture design, no work to date has asked the converse question: given a kernel, can one find a network that realizes it? We affirmatively answer this question for fully-connected architectures, completely characterizing the space of achievable kernels. Furthermore, we give a surprising constructive proof that any kernel of any wide, deep, fully-connected net can also be achieved with a network with just one hidden layer and a specially-designed pointwise activation function. We experimentally verify our construction and demonstrate that, by just choosing the activation function, we can design a wide shallow network that mimics the generalization performance of any wide, deep, fully-connected network.


翻译:最近一连串的工作探索了广泛的神经网络和内核方法之间的等同性。一个中心主题是,人们可以分析找到与特定宽网络结构相对应的内核,但尽管对建筑设计有重大影响,迄今为止没有工作提出相反的问题:鉴于内核,我们能否找到一个认识到它的网络?我们肯定地回答这个问题,以完全连接的建筑为主,完全地说明可实现内核的空间。此外,我们提供了令人惊讶的建设性证据,证明任何宽、深、完全连接的网络的内核,只要有一个隐藏层的网络和专门设计的点感应功能,就可以实现。我们实验性地核查我们的构造,并证明只要选择激活功能,我们就能设计一个宽浅的网络,模仿任何宽广、深、完全连接的网络的通用性能。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
57+阅读 · 2020年5月9日
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
【新书】深度学习搜索,Deep Learning for Search,附327页pdf
专知会员服务
204+阅读 · 2020年1月13日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
CCF推荐 | 国际会议信息6条
Call4Papers
9+阅读 · 2019年8月13日
计算机 | 国际会议信息5条
Call4Papers
3+阅读 · 2019年7月3日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年8月7日
Arxiv
49+阅读 · 2021年5月9日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Arxiv
7+阅读 · 2018年12月26日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
19+阅读 · 2018年3月28日
VIP会员
相关资讯
CCF推荐 | 国际会议信息6条
Call4Papers
9+阅读 · 2019年8月13日
计算机 | 国际会议信息5条
Call4Papers
3+阅读 · 2019年7月3日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年8月7日
Arxiv
49+阅读 · 2021年5月9日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Arxiv
7+阅读 · 2018年12月26日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
19+阅读 · 2018年3月28日
Top
微信扫码咨询专知VIP会员