We develop a simple Quantile Spacing (QS) method for accurate probabilistic estimation of one-dimensional entropy from equiprobable random samples, and compare it with the popular Bin-Counting (BC) method. In contrast to BC, which uses equal-width bins with varying probability mass, the QS method uses estimates of the quantiles that divide the support of the data generating probability density function (pdf) into equal-probability-mass intervals. Whereas BC requires optimal tuning of a bin-width hyper-parameter whose value varies with sample size and shape of the pdf, QS requires specification of the number of quantiles to be used. Results indicate, for the class of distributions tested, that the optimal number of quantile-spacings is a fixed fraction of the sample size (empirically determined to be ~0.25-0.35), and that this value is relatively insensitive to distributional form or sample size, providing a clear advantage over BC since hyperparameter tuning is not required. Bootstrapping is used to approximate the sampling variability distribution of the resulting entropy estimate, and is shown to accurately reflect the true uncertainty. For the four distributional forms studied (Gaussian, Log-Normal, Exponential and Bimodal Gaussian Mixture), expected estimation bias is less than 1% and uncertainty is relatively low even for very small sample sizes. We speculate that estimating quantile locations, rather than bin-probabilities, results in more efficient use of the information in the data to approximate the underlying shape of an unknown data generating pdf.


翻译:我们开发了一个简单的 Qantile Spaceing (QS) 方法, 用于从设备可变随机样本中精确地对一维样本进行精确的概率估计, 并将其与流行的 Bin-Counting (BC) 方法进行比较。 与使用等宽 bin- bin- bin- bin- bin- speating (BC) 方法相比, QS 方法使用一个简单的 Quintile Space (QS) 方法, 将数据生成概率密度函数(pdf) 的辅助值分为相等的 概率密度值( pdf), 以同等的概率- 质量间隔来进行精确的 。 虽然 Bin- with 超级参数的值值值与 pdf 的样本大小和形状不同, QS 需要指定要使用的量的量大小。 与 Bin- Qounticle 方法相比, 与 Binal- breal 的数值相比, QServal- dreal road lavelopmental- dal laveal laves lave lax lax lax lax lax lax lax lax lady lady lady lady laved laveds laut the laut lauts lady lady lady lautds lautdal romodal romodal ladal romodal ladal ladal ladal laddal lads ladal ladddal ladddddddds ladddaldal lauts lautdal ladal roddddddddddddal roddddddal rodddal rodal rodal roddddddddddal rod rod rodal rodal rodal rodal rodal, rodaldal ro rodal, rod

0
下载
关闭预览

相关内容

专知会员服务
26+阅读 · 2021年4月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
250+阅读 · 2020年4月19日
专知会员服务
162+阅读 · 2020年1月16日
【新书】Python编程基础,669页pdf
专知会员服务
196+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
计算机类 | PLDI 2020等国际会议信息6条
Call4Papers
3+阅读 · 2019年7月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
已删除
将门创投
4+阅读 · 2017年12月12日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年4月19日
Arxiv
0+阅读 · 2021年4月18日
Fitting a manifold of large reach to noisy data
Arxiv
0+阅读 · 2021年4月15日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关VIP内容
专知会员服务
26+阅读 · 2021年4月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
250+阅读 · 2020年4月19日
专知会员服务
162+阅读 · 2020年1月16日
【新书】Python编程基础,669页pdf
专知会员服务
196+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
计算机类 | PLDI 2020等国际会议信息6条
Call4Papers
3+阅读 · 2019年7月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
已删除
将门创投
4+阅读 · 2017年12月12日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员