We develop a fully Bayesian nonparametric regression model based on a L\'evy process prior named MLABS (Multivariate L\'evy Adaptive B-Spline regression) model, a multivariate version of the LARK models, for obtaining an elaborate estimation of unknown functions with either varying degrees of smoothness or high interaction orders. L\'evy process priors have advantages of encouraging sparsity in the expansions and providing automatic selection over the number of basis functions. The unknown regression function is expressed as a weighted sum of tensor product of B-spline basis functions as the elements of an overcomplete system, which can deal with multi-dimensional data. The B-spline basis can express systematically functions with varying degrees of smoothness. By changing a set of degrees of the tensor product basis function, MLABS can adapt the smoothness of target functions due to the nice properties of B-spline bases. The local support of the B-spline basis enables the MLABS to make more delicate predictions than other existing methods in the two-dimensional surface data. For practice, we apply the structure of tensor products bases of (Bayesian) MARS to the MLABS model to reduce the computation burden. Experiments on various simulated and real-world datasets illustrate that the MLABS model has comparable performance on regression and classification problems. We also show that the MLABS model has more stable and accurate predictive abilities than state-of-the-art nonparametric regression models in relatively low-dimensional data.


翻译:我们开发了一个完全的巴伊斯非参数回归模型,其基础是L\'evy 进程,先前命名的MALBS(Multistriate L\'evy 适应性B-Spline回归)模型,这是LARK模型的多变量版本,目的是获得对未知功能的详细估计,其平滑度或互动量不同。L\'evy进程前的优点在于鼓励扩展中的宽度,并为基础功能的数量提供自动选择。未知回归函数表现为一个加权和B-spline基础函数的成份,作为超完整的系统元素,可以处理多维数据。BS-spline基础可以以不同程度的平滑度表示系统性功能。通过改变成一套高压产品基功能的度,LAMBS可以调整目标功能的平滑度。BS基础的本地支持使得我们比二维表面数据中的其他现有方法更精确的回溯性预测值。关于实践,我们应用不精确的系统模型的系统化功能,可以以不同的平滑度表示出不同程度的模型的功能模型。通过可比较性BS-BS的模型的模型的模型的模型,可以将S-modal-modal-al-al-moxxx 的模型的模型的模型的模型的模型的模型的模拟的模型的模型的模型的模型的模型的模型的模型的模型的模型的模型和模型的模拟的模型的模拟的模拟的模拟的模拟的模拟的模拟的模拟的模拟的模拟的模拟的模型的模拟的模型的模型的模型的模型的模型的模拟性能的模拟性能演示。

0
下载
关闭预览

相关内容

【干货书】机器学习算法视角,249页pdf
专知会员服务
142+阅读 · 2021年10月18日
【干货书】开放数据结构,Open Data Structures,337页pdf
专知会员服务
16+阅读 · 2021年9月17日
专知会员服务
141+阅读 · 2021年3月17日
数字化健康白皮书,17页pdf
专知会员服务
107+阅读 · 2021年1月6日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
159+阅读 · 2020年1月16日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Science:脂肪细胞外泌体对巨噬细胞发挥调节功能
外泌体之家
19+阅读 · 2019年3月7日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
一文详解聚类和降维(附实例、代码)
数据派THU
7+阅读 · 2017年9月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年10月18日
Arxiv
0+阅读 · 2021年10月16日
Arxiv
0+阅读 · 2021年10月16日
VIP会员
相关VIP内容
【干货书】机器学习算法视角,249页pdf
专知会员服务
142+阅读 · 2021年10月18日
【干货书】开放数据结构,Open Data Structures,337页pdf
专知会员服务
16+阅读 · 2021年9月17日
专知会员服务
141+阅读 · 2021年3月17日
数字化健康白皮书,17页pdf
专知会员服务
107+阅读 · 2021年1月6日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
159+阅读 · 2020年1月16日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Science:脂肪细胞外泌体对巨噬细胞发挥调节功能
外泌体之家
19+阅读 · 2019年3月7日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
一文详解聚类和降维(附实例、代码)
数据派THU
7+阅读 · 2017年9月3日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员