We consider the fundamental problem of communicating an estimate of a real number $x\in[0,1]$ using a single bit. A sender that knows $x$ chooses a value $X\in\set{0,1}$ to transmit. In turn, a receiver estimates $x$ based on the value of $X$. We consider both the biased and unbiased estimation problems and aim to minimize the cost. For the biased case, the cost is the worst-case (over the choice of $x$) expected squared error, which coincides with the variance if the algorithm is required to be unbiased. We first overview common biased and unbiased estimation approaches and prove their optimality when no shared randomness is allowed. We then show how a small amount of shared randomness, which can be as low as a single bit, reduces the cost in both cases. Specifically, we derive lower bounds on the cost attainable by any algorithm with unrestricted use of shared randomness and propose near-optimal solutions that use a small number of shared random bits. Finally, we discuss open problems and future directions.


翻译:我们考虑的是使用一个位数来通报实际数字的估计数[0,1]美元[0,1]美元这一根本问题。知道美元的一个发送者选择一个值(X\in\inset{0,1}美元)来传输。反过来,一个接收者根据美元值来估算美元x美元。我们既考虑偏向和不公正的估计问题,又力求将成本降到最低。对于有偏向的情况,成本是预期的方差的最坏情况(而不是选择美元),如果算法需要公正的话,成本与差异相吻合。我们首先审视共同的偏向和不偏向的估计方法,并在不允许共享随机性时证明它们的最佳性。然后我们展示如何通过少量的共享随机性来降低两种情况的成本。具体地说,我们通过不加限制地使用共享随机性的方法,从任何算法所能实现的成本中得出较低的界限,并提出使用少量共享随机数的近最佳解决办法。最后,我们讨论开放的问题和今后的方向。

0
下载
关闭预览

相关内容

Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
202+阅读 · 2020年2月24日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
已删除
将门创投
7+阅读 · 2018年12月12日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2020年11月23日
Arxiv
0+阅读 · 2020年11月22日
Arxiv
0+阅读 · 2020年11月20日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
已删除
将门创投
7+阅读 · 2018年12月12日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员