Separation in logistic regression is a common problem causing failure of the iterative estimation process when finding maximum likelihood estimates. Firth's correction (FC) was proposed as a solution, providing estimates also in presence of separation. In this paper we evaluate whether ridge regression (RR) could be considered instead, specifically, if it could reduce the mean squared error (MSE) of coefficient estimates in comparison to FC. In RR the tuning parameter determining the penalty strength is usually obtained by minimizing some measure of the out-of-sample prediction error or information criterion. However, in presence of separation tuning these measures can yield an optimized value of zero (no shrinkage), and hence cannot provide a universal solution. We derive a new bootstrap based tuning criterion $B$ that always leads to shrinkage. Moreover, we demonstrate how valid inference can be obtained by combining resampled profile penalized likelihood functions. Our approach is illustrated in an example from oncology and its performance is compared to FC in a simulation study. Our simulations showed that in analyses of small and sparse datasets and with many correlated covariates $B$-tuned RR can yield coefficient estimates with MSE smaller than FC and confidence intervals that approximately achieve nominal coverage probabilities.


翻译:后勤回归中的分离是一个常见问题,导致在寻找最大可能性估计数时,迭代估算过程失败。Firth的纠正(FC)建议作为一种解决办法,提供估计数,在分离的情况下也提供估计数。在本文件中,我们评估是否可以考虑使用峰值回归(RR),具体地说,如果它能够减少系数估计数与FC相比的平均平方差差(MSE),具体地说,如果它能够减少系数估计数与FC相比的平均平方差错(MSE)。在RER中,确定惩罚强度的调理参数通常是通过最大限度地减少一些抽样预测错误或信息标准来获得的。然而,在进行分离调整时,这些措施可产生最优化值为零(不缩小),因此无法提供普遍的解决办法。我们从中得出一个新的以美元为基准的调制鞋装置,总能导致缩减。此外,我们证明通过将重标定的受处罚的概率功能合并,能够取得多大的推论。我们的方法在模拟研究中以本学为例,其性能与FC作比较。我们的模拟表明,在分析小和许多相关的相相相相可变变的美元调整的折率中,能够得出比FSEEOBC最小的峰值。

0
下载
关闭预览

相关内容

Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
110+阅读 · 2020年5月15日
专知会员服务
161+阅读 · 2020年1月16日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Logistic回归第一弹——二项Logistic Regression
机器学习深度学习实战原创交流
3+阅读 · 2015年10月22日
Random and quasi-random designs in group testing
Arxiv
0+阅读 · 2021年1月15日
Arxiv
0+阅读 · 2021年1月14日
Arxiv
0+阅读 · 2021年1月14日
Design and Analysis of Switchback Experiments
Arxiv
0+阅读 · 2021年1月14日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】(Python)SVM数据分类
机器学习研究会
6+阅读 · 2017年10月15日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Logistic回归第一弹——二项Logistic Regression
机器学习深度学习实战原创交流
3+阅读 · 2015年10月22日
Top
微信扫码咨询专知VIP会员