Modern datasets commonly feature both substantial missingness and many variables of mixed data types, which present significant challenges for estimation and inference. Complete case analysis, which proceeds using only the observations with fully-observed variables, is often severely biased, while model-based imputation of missing values is limited by the ability of the model to capture complex dependencies among (possibly many) variables of mixed data types. To address these challenges, we develop a novel Bayesian mixture copula for joint and nonparametric modeling of multivariate count, continuous, ordinal, and unordered categorical variables, and deploy this model for inference, prediction, and imputation of missing data. Most uniquely, we introduce a new and computationally efficient strategy for marginal distribution estimation that eliminates the need to specify any marginal models yet delivers posterior consistency for each marginal distribution and the copula parameters under missingness-at-random. Extensive simulation studies demonstrate exceptional modeling and imputation capabilities relative to competing methods, especially with mixed data types, complex missingness mechanisms, and nonlinear dependencies. We conclude with a data analysis that highlights how improper treatment of missing data can distort a statistical analysis, and how the proposed approach offers a resolution.


翻译:现代数据集通常同时存在大量缺失值和许多混合类型变量,这对估计和推断提出了重要挑战。使用仅具有完全观测变量的观测值的完全案例分析通常会产生严重的偏差,而模型为基础的缺失值插补受到模型捕捉复杂混合类型变量之间复杂依赖性的能力的限制。为了解决这些挑战,我们开发了一种新颖的贝叶斯混合Copula,用于多变量计数、连续、有序和无序分类变量的联合和非参数建模,并将该模型部署用于推断、预测和缺失数据的插补。最独特的是,我们引入了一种新的、计算有效的边际分布估计策略,消除了需要指定任何边际模型的需求,同时在随机缺失下为每个边际分布和Copula参数提供后验一致性。广泛的模拟研究显示,相对于竞争方法,尤其是混合类型、复杂缺失机制和非线性依赖性方面,该方法具有出色的建模和插补能力。我们用一个数据分析来总结这个研究,突显了缺失数据的不当处理如何扭曲统计分析,以及所提出的方法如何提供解决方案。

0
下载
关闭预览

相关内容

【干货书】工程和科学中的概率和统计,
专知会员服务
57+阅读 · 2022年12月24日
专知会员服务
137+阅读 · 2021年3月17日
专知会员服务
50+阅读 · 2020年12月14日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
缺失数据统计分析,第三版,462页pdf
专知
44+阅读 · 2020年2月28日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
数据分析师应该知道的16种回归方法:定序回归
数萃大数据
16+阅读 · 2018年9月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年5月24日
VIP会员
相关VIP内容
【干货书】工程和科学中的概率和统计,
专知会员服务
57+阅读 · 2022年12月24日
专知会员服务
137+阅读 · 2021年3月17日
专知会员服务
50+阅读 · 2020年12月14日
相关资讯
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
缺失数据统计分析,第三版,462页pdf
专知
44+阅读 · 2020年2月28日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
数据分析师应该知道的16种回归方法:定序回归
数萃大数据
16+阅读 · 2018年9月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员