This paper makes two contributions. Firstly, it introduces mixed compositional kernels and mixed neural network Gaussian processes (NGGPs). Mixed compositional kernels are generated by composition of probability generating functions (PGFs). A mixed NNGP is a Gaussian process (GP) with a mixed compositional kernel, arising in the infinite-width limit of multilayer perceptrons (MLPs) that have a different activation function for each layer. Secondly, $\theta$ activation functions for neural networks and $\theta$ compositional kernels are introduced by building upon the theory of branching processes, and more specifically upon $\theta$ PGFs. While $\theta$ compositional kernels are recursive, they are expressed in closed form. It is shown that $\theta$ compositional kernels have non-degenerate asymptotic properties under certain conditions. Thus, GPs with $\theta$ compositional kernels do not require non-explicit recursive kernel evaluations and have controllable infinite-depth asymptotic properties. An open research question is whether GPs with $\theta$ compositional kernels are limits of infinitely-wide MLPs with $\theta$ activation functions.


翻译:本文提供两种贡献。 首先, 它引入混合的成分内核和混合的神经网络 Gausian 进程( GGPs 进程 ) 。 混合的成分内核是由概率生成函数( PGFs)的构成产生的。 混合的 NGP 是混合的成分内核( GPs) 进程, 混合的成分内核( GGPs) 进程, 产生于多层透视的无限宽度限制, 不同层具有不同的激活功能 。 其次, 神经网络 $\theta$ 的激活功能和 $\theta$ 的成分内核( $theta $) 的激活功能, 更具体地说, 以 $\theta$ PGPs 的组合内核内核内核( 美元) 。 虽然 $\thetaobildal 内核( 美元内核) 的内核内核( ) 的内核内核( ) ) 的内核( 无限的内核( ) ) 的内核( ) 的内核的内核( ) ) 的内核( ) 的内核( ) 的内核( ) ) 的内核( ) ) 是无限的内核( ) 的内核( ) 是无限的内核( ) ) 的 无限的 的 的 的 的 的 的内核( ) 的 的内核的 ) 是无限的 的 的 ) 的 的 的 的 的 的 的 的 的 的 的 的 的 的 不受定义的 和 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 的 的 的 的

0
下载
关闭预览

相关内容

【图神经网络导论】Intro to Graph Neural Networks,176页ppt
专知会员服务
125+阅读 · 2021年6月4日
机器学习组合优化
专知会员服务
108+阅读 · 2021年2月16日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
77+阅读 · 2020年2月3日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
87+阅读 · 2019年10月21日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
资源丨用PyTorch实现Mask R-CNN
量子位
6+阅读 · 2018年7月23日
CTR预估专栏 | 一文搞懂阿里Deep Interest Network
AI前线
14+阅读 · 2018年7月20日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Arxiv
0+阅读 · 2022年2月3日
Arxiv
3+阅读 · 2021年11月1日
Arxiv
7+阅读 · 2021年10月12日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
9+阅读 · 2020年2月15日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
3+阅读 · 2018年11月11日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
资源丨用PyTorch实现Mask R-CNN
量子位
6+阅读 · 2018年7月23日
CTR预估专栏 | 一文搞懂阿里Deep Interest Network
AI前线
14+阅读 · 2018年7月20日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
相关论文
Arxiv
0+阅读 · 2022年2月3日
Arxiv
3+阅读 · 2021年11月1日
Arxiv
7+阅读 · 2021年10月12日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
9+阅读 · 2020年2月15日
Arxiv
4+阅读 · 2019年1月14日
Arxiv
3+阅读 · 2018年11月11日
Arxiv
19+阅读 · 2018年6月27日
Top
微信扫码咨询专知VIP会员