This paper makes two contributions. Firstly, it introduces mixed compositional kernels and mixed neural network Gaussian processes (NGGPs). Mixed compositional kernels are generated by composition of probability generating functions (PGFs). A mixed NNGP is a Gaussian process (GP) with a mixed compositional kernel, arising in the infinite-width limit of multilayer perceptrons (MLPs) that have a different activation function for each layer. Secondly, $\theta$ activation functions for neural networks and $\theta$ compositional kernels are introduced by building upon the theory of branching processes, and more specifically upon $\theta$ PGFs. While $\theta$ compositional kernels are recursive, they are expressed in closed form. It is shown that $\theta$ compositional kernels have non-degenerate asymptotic properties under certain conditions. Thus, GPs with $\theta$ compositional kernels do not require non-explicit recursive kernel evaluations and have controllable infinite-depth asymptotic properties. An open research question is whether GPs with $\theta$ compositional kernels are limits of infinitely-wide MLPs with $\theta$ activation functions.
翻译:本文提供两种贡献。 首先, 它引入混合的成分内核和混合的神经网络 Gausian 进程( GGPs 进程 ) 。 混合的成分内核是由概率生成函数( PGFs)的构成产生的。 混合的 NGP 是混合的成分内核( GPs) 进程, 混合的成分内核( GGPs) 进程, 产生于多层透视的无限宽度限制, 不同层具有不同的激活功能 。 其次, 神经网络 $\theta$ 的激活功能和 $\theta$ 的成分内核( $theta $) 的激活功能, 更具体地说, 以 $\theta$ PGPs 的组合内核内核内核( 美元) 。 虽然 $\thetaobildal 内核( 美元内核) 的内核内核( ) 的内核内核( ) ) 的内核( 无限的内核( ) ) 的内核( ) 的内核的内核( ) ) 的内核( ) 的内核( ) 的内核( ) ) 的内核( ) ) 是无限的内核( ) 的内核( ) 是无限的内核( ) ) 的 无限的 的 的 的 的 的 的内核( ) 的 的内核的 ) 是无限的 的 的 ) 的 的 的 的 的 的 的 的 的 的 的 的 的 的 不受定义的 和 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 的 的 的 的