Two major research tasks lie at the heart of high dimensional data analysis: accurate parameter estimation and correct support recovery. Existing literature mostly aim for either the best parameter estimation or the best model selection result, however little has been done to understand the potential interaction between the estimation precision and the selection behavior. In this work, our minimax result shows that an estimator's performance of type I error control critically depends on its $L_2$ estimation error rate, and reveals a trade-off phenomenon between the rate of convergence and the false discovery control: better estimation accuracy leads to more false discoveries. In particular, we characterize the false discovery control behavior of rate-optimal and rate-suboptimal estimators under different sparsity regimes, and discover a rigid dichotomy between these two estimators under near-linear and linear sparsity settings. In addition, this work provides a rigorous explanation to the incompatibility phenomenon between selection consistency and rate-minimaxity which has been frequently observed in the high dimensional literature.


翻译:高维数据分析的核心是两大研究任务:准确的参数估计和正确的支持恢复。现有文献主要针对最佳参数估计或最佳的模型选择结果,然而,在理解估算精确度和选择行为之间潜在互动方面做得很少。在这项工作中,我们的微量分析结果表明,估算器在I型错误控制中的性能严重取决于其$L_2的估算误差率,并揭示了趋同率和虚假发现控制之间的权衡现象:更好的估计精确度导致更多的虚假发现。特别是,我们把不同宽度制度下的率-最佳和比率-次优度-估计器的错误发现控制行为定性,并发现在近线性和线性环境下这两个估计器之间的僵硬分法。此外,这项工作对选择一致性和最小度-最小度之间的不相容性现象提供了严格的解释,高维量文献中经常观察到这种现象。

0
下载
关闭预览

相关内容

专知会员服务
14+阅读 · 2021年5月21日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
124+阅读 · 2020年11月20日
数据科学导论,54页ppt,Introduction to Data Science
专知会员服务
39+阅读 · 2020年7月27日
因果图,Causal Graphs,52页ppt
专知会员服务
243+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
Arxiv
5+阅读 · 2021年4月21日
VIP会员
相关VIP内容
专知会员服务
14+阅读 · 2021年5月21日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
124+阅读 · 2020年11月20日
数据科学导论,54页ppt,Introduction to Data Science
专知会员服务
39+阅读 · 2020年7月27日
因果图,Causal Graphs,52页ppt
专知会员服务
243+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
相关资讯
Top
微信扫码咨询专知VIP会员