Recent years have witnessed the success of adaptive (or unified) approaches in estimating symmetric properties of discrete distributions, where one first obtains a distribution estimator independent of the target property, and then plugs the estimator into the target property as the final estimator. Several such approaches have been proposed and proved to be adaptively optimal, i.e. they achieve the optimal sample complexity for a large class of properties within a low accuracy, especially for a large estimation error $\varepsilon\gg n^{-1/3}$ where $n$ is the sample size. In this paper, we characterize the high accuracy limitation, or the penalty for adaptation, for all such approaches. Specifically, we show that under a mild assumption that the distribution estimator is close to the true sorted distribution in expectation, any adaptive approach cannot achieve the optimal sample complexity for every $1$-Lipschitz property within accuracy $\varepsilon \ll n^{-1/3}$. In particular, this result disproves a conjecture in [Acharya et al. 2017] that the profile maximum likelihood (PML) plug-in approach is optimal in property estimation for all ranges of $\varepsilon$, and confirms a conjecture in [Han and Shiragur, 2021] that their competitive analysis of the PML is tight.


翻译:近年来,适应(或统一)方法成功地估算了离散分布的对称性(美元/瓦列普西隆/gg n ⁇ -1/3}美元),其中首先获得一个独立于目标属性的分布估计符,然后将估计符插入目标属性,作为最后估计符。一些这类方法已经提出,并证明是适应性最佳的,即,在低精确度范围内,实现大量类别属性的最佳抽样复杂度,特别是对于以美元为样本规模的大型估算错误$\varepsilon\gg n ⁇ -1/3}。在本文中,我们将所有此类方法的高度准确性限制或适应处罚定性为特征。具体地说,我们表明,在轻度假设分配估计符接近预期的真正分类分布的情况下,任何适应方法都无法在精确度范围内达到每1美元/利普施奇茨基财产的最佳抽样复杂性,特别是,这导致[Achary 和al. Al] 最精确的精确度(PMRMR) 和Siral-Restal-rassal 的Siral-Restal-ral Expral Ex-Siral-Siral-Siral-Siral-Siral-Siral Expral-sal-slal 和Siral-sleval-Siral-sal-Siral-sl) 最高最佳估估估估估估估定最大可能性最大可能性最大可能性(PL) 和最大可能性是Sirmal-Rmal-Sir 。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
专知会员服务
15+阅读 · 2020年7月27日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(四)
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2018年10月4日
Viewpoint Estimation-Insights & Model
Arxiv
3+阅读 · 2018年7月3日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(四)
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员