The Jeffreys-Lindley paradox stands as the most profound divergence between frequentist and Bayesian approaches to hypothesis testing. Yet despite more than six decades of discussion, this paradox remains frequently misunderstood--even in the pages of leading statistical journals. In a 1993 paper published in Statistica Sinica, Robert characterized the Jeffreys-Lindley paradox as "the fact that a point null hypothesis will always be accepted when the variance of a conjugate prior goes to infinity." This characterization, however, describes a different phenomenon entirely-what we term Bartlett's Anomaly-rather than the Jeffreys-Lindley paradox as originally formulated. The paradox, as presented by Lindley (1957), concerns what happens as sample size increases without bound while holding the significance level fixed, not what happens as prior variance diverges. This distinction is not merely terminological: the two phenomena have different mathematical structures, different implications, and require different solutions. The present paper aims to clarify this confusion, demonstrating through Lindley's own equations that he was concerned exclusively with sample size asymptotics. We show that even Jeffreys himself underestimated the practical frequency of the paradox. Finally, we argue that the only genuine resolution lies in abandoning point null hypotheses in favor of interval nulls, a paradigm shift that eliminates the paradox and restores harmony between Bayesian and frequentist inference. Submitted to Statistica Sinica.


翻译:Jeffreys-Lindley悖论是频率学派与贝叶斯学派在假设检验领域最深刻的鸿沟。然而,尽管历经六十余年的讨论,这一悖论仍常被误解——甚至在顶尖统计学期刊的页面上亦不例外。在1993年发表于《Statistica Sinica》的论文中,Robert将Jeffreys-Lindley悖论描述为'当共轭先验的方差趋于无穷大时,点零假设总会被接受的事实'。然而,这一描述完全指向了另一种现象——我们称之为Bartlett异常——而非最初提出的Jeffreys-Lindley悖论。如Lindley(1957)所述,该悖论关注的是在显著性水平固定的情况下,样本量无限增大时发生的情况,而非先验方差发散时的现象。这一区别不仅是术语上的:两种现象具有不同的数学结构、不同的含义,并需要不同的解决方案。本文旨在澄清这一混淆,通过Lindley本人的方程证明他仅关注样本量的渐近性质。我们表明,即使Jeffreys本人也低估了该悖论在实际中的出现频率。最后,我们认为唯一的真正解决方案在于放弃点零假设,转而采用区间零假设,这一范式转变消除了悖论,并恢复了贝叶斯推断与频率推断之间的和谐。已投稿至《Statistica Sinica》。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
58+阅读 · 2019年7月31日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员