This paper presents a new approach for trees-based regression, such as simple regression tree, random forest and gradient boosting, in settings involving correlated data. We show the problems that arise when implementing standard trees-based regression models, which ignore the correlation structure. Our new approach explicitly takes the correlation structure into account in the splitting criterion, stopping rules and fitted values in the leaves, which induces some major modifications of standard methodology. The superiority of our new approach over trees-based models that do not account for the correlation is supported by simulation experiments and real data analyses.


翻译:本文介绍了一种基于树木的回归新办法,如简单回归树、随机森林和梯度增强等,在涉及相关数据的环境中。我们展示了实施标准的基于树木的回归模型时出现的问题,这些模型忽视了相关结构。我们的新办法明确将相关结构纳入分离标准、停止规则以及树叶中适合的数值,从而导致对标准方法作一些重大修改。我们的新办法优于不考虑相关关系的基于树木的模型,这得到了模拟实验和真实数据分析的支持。

0
下载
关闭预览

相关内容

最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
因果关联学习,Causal Relational Learning
专知会员服务
178+阅读 · 2020年4月21日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
已删除
将门创投
5+阅读 · 2019年5月5日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
Arxiv
0+阅读 · 2021年10月3日
Coo: Rethink Data Anomalies In Databases
Arxiv
0+阅读 · 2021年10月1日
Arxiv
15+阅读 · 2021年2月19日
Arxiv
3+阅读 · 2014年10月9日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
已删除
将门创投
5+阅读 · 2019年5月5日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
Top
微信扫码咨询专知VIP会员