Gaussian processes are arguably the most important class of spatiotemporal models within machine learning. They encode prior information about the modeled function and can be used for exact or approximate Bayesian learning. In many applications, particularly in physical sciences and engineering, but also in areas such as geostatistics and neuroscience, invariance to symmetries is one of the most fundamental forms of prior information one can consider. The invariance of a Gaussian process' covariance to such symmetries gives rise to the most natural generalization of the concept of stationarity to such spaces. In this work, we develop constructive and practical techniques for building stationary Gaussian processes on a very large class of non-Euclidean spaces arising in the context of symmetries. Our techniques make it possible to (i) calculate covariance kernels and (ii) sample from prior and posterior Gaussian processes defined on such spaces, both in a practical manner. This work is split into two parts, each involving different technical considerations: part I studies compact spaces, while part II studies non-compact spaces possessing certain structure. Our contributions make the non-Euclidean Gaussian process models we study compatible with well-understood computational techniques available in standard Gaussian process software packages, thereby making them accessible to practitioners.


翻译:翻译后的标题: 基于李群和其齐次空间的平稳核函数和高斯过程 II:非紧凑对称空间 翻译后的摘要: 在机器学习中,高斯过程是最重要的一类时空模型。它们对所建模函数的先验信息进行编码,可以用于精确或近似贝叶斯学习。在许多应用中,特别是在物理科学和工程领域,以及地质统计学和神经科学等领域,对对称性的不变性是可以考虑的最基本的先验信息之一。高斯过程协方差对这些对称性的不变性赋予了该空间最自然的平稳性的概念。我们在这项工作中开展了构建一种平稳高斯过程在非欧几里得空间上的实用技术研究,该空间在对称性上具有某些特定的结构。我们的技术使得在此类特定结构的非欧几里得高斯过程模型中进行核函数和上下文定义的先验和后验高斯过程的采样成为可能。此项工作分为两部分,每部分都涉及不同的技术考虑:第一部分研究紧凑空间,而第二部分研究具有一定结构的非紧凑空间。我们的贡献使我们研究的非欧几里得高斯过程模型与标准高斯过程软件包中可用的良好理解的计算技术相兼容,从而使该模型对从业者易于掌握。

0
下载
关闭预览

相关内容

高斯过程(Gaussian Process, GP)是概率论和数理统计中随机过程(stochastic process)的一种,是一系列服从正态分布的随机变量(random variable)在一指数集(index set)内的组合。 高斯过程中任意随机变量的线性组合都服从正态分布,每个有限维分布都是联合正态分布,且其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度,因此被视为联合正态分布的无限维广义延伸。高斯过程由其数学期望和协方差函数完全决定,并继承了正态分布的诸多性质
【实用书】数据科学和机器学习:数学和统计方法,533页pdf
【NUS-Xavier教授】生成模型VAE与GAN,69页ppt
专知会员服务
73+阅读 · 2022年4月6日
【干货书】贝叶斯推理决策,195页pdf
专知会员服务
89+阅读 · 2021年12月11日
专知会员服务
252+阅读 · 2021年10月8日
神经网络高斯过程 (Neural Network Gaussian Process)
PaperWeekly
0+阅读 · 2022年11月8日
【2022新书】贝叶斯建模与Python建模
专知
18+阅读 · 2022年1月9日
解读 | 得见的高斯过程
机器学习算法与Python学习
14+阅读 · 2019年2月13日
深度学习超参数搜索实用指南
云栖社区
28+阅读 · 2018年10月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年6月3日
Arxiv
0+阅读 · 2023年5月31日
Arxiv
0+阅读 · 2023年5月31日
Arxiv
12+阅读 · 2021年7月26日
VIP会员
相关VIP内容
【实用书】数据科学和机器学习:数学和统计方法,533页pdf
【NUS-Xavier教授】生成模型VAE与GAN,69页ppt
专知会员服务
73+阅读 · 2022年4月6日
【干货书】贝叶斯推理决策,195页pdf
专知会员服务
89+阅读 · 2021年12月11日
专知会员服务
252+阅读 · 2021年10月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员