会员服务
估计/估计量 · INFORMS · 无偏估计 · 互信息 · 无偏 ·
2021 年 5 月 18 日
A note on the unbiased estimation of mutual information
翻译：关于对相互信息的无偏见估计的说明
Jake Witter,Conor Houghton
Jake Witter,Conor Houghton

Estimators for mutual information are typically biased. However, in the case of the Kozachenko-Leonenko estimator for metric spaces, a type of nearest neighbour estimator, it is possible to calculate the bias explicitly.


翻译：对相互信息进行估算的人通常有偏差,但是,对于测量空间的Kozachenko-Leonenko测量员,即近邻测算员,可以明确计算偏差。
0
下载
关闭预览

相关内容

INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
专知会员服务
67+阅读 · 2021年3月27日
INRIA 最新《机器学习理论》课程笔记，176页pdf
专知会员服务
50+阅读 · 2020年12月14日
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
专知会员服务
51+阅读 · 2020年6月1日
【深度伪造综述论文】The Creation and Detection of Deepfakes: A Survey
【深度伪造综述论文】The Creation and Detection of Deepfakes: A Survey
专知会员服务
54+阅读 · 2020年4月26日
【硬核书】信息论，528页pdf，Information Theory and Coding by Example
【硬核书】信息论，528页pdf，Information Theory and Coding by Example
专知会员服务
146+阅读 · 2020年4月20日
【AAAI2020】拓扑贝叶斯优化与持久性图：Topological Bayesian Optimization with Persistence Diagrams
【AAAI2020】拓扑贝叶斯优化与持久性图：Topological Bayesian Optimization with Persistence Diagrams
专知会员服务
10+阅读 · 2020年1月17日
【深度估计| 2019最新综述】单目深度估计方法综述（Monocular Depth Estimation: A Survey）
专知会员服务
67+阅读 · 2019年11月23日
【AAAI2020接受论文】预测性参与:开放领域对话系统自动评估的有效指标（Predictive Engagement: An Efficient Metric For Automatic Evaluation of Open-Domain Dialogue Systems）
【AAAI2020接受论文】预测性参与:开放领域对话系统自动评估的有效指标（Predictive Engagement: An Efficient Metric For Automatic Evaluation of Open-Domain Dialogue Systems）
专知会员服务
13+阅读 · 2019年11月15日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
55+阅读 · 2019年10月17日
MIT新书《强化学习与最优控制》
MIT新书《强化学习与最优控制》
专知会员服务
273+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
CCF C类 | IJCNN 2019 Special Section : 信息论与深度学习
CCF C类 | IJCNN 2019 Special Section : 信息论与深度学习
Call4Papers
5+阅读 · 2018年12月7日
disentangled-representation-papers
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断（Variational inference)的总结
【论文】变分推断（Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
On the Variance of the Fisher Information for Deep Learning
Arxiv
0+阅读 · 2021年7月9日
Fisher Information and Mutual Information Constraints
Arxiv
0+阅读 · 2021年7月8日
Moment-based density and risk estimation from grouped summary statistics
Arxiv
0+阅读 · 2021年7月8日
Consistency of the Maximal Information Coefficient Estimator
Arxiv
0+阅读 · 2021年7月8日
The Maximal Eigengap Estimator for Acoustic Vector-Sensor Processing
The Maximal Eigengap Estimator for Acoustic Vector-Sensor Processing
Arxiv
0+阅读 · 2021年7月7日
Discriminative Mutual Information Estimators for Channel Capacity Learning
Arxiv
0+阅读 · 2021年7月7日
Monocular Depth Estimation via Listwise Ranking using the Plackett-Luce Model
Arxiv
0+阅读 · 2021年7月7日
Non-Homogeneity Estimation and Universal Kriging on the Sphere
Arxiv
0+阅读 · 2021年7月6日
Decomposed Mutual Information Estimation for Contrastive Representation Learning
Arxiv
11+阅读 · 2021年6月25日
Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank
Arxiv
6+阅读 · 2020年8月20日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
估计/估计量
INFORMS
无偏估计
互信息
无偏
相关VIP内容
INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
INRIA最新「机器学习理论」新书，229页pdf原理性阐述机器学习
专知会员服务
67+阅读 · 2021年3月27日
INRIA 最新《机器学习理论》课程笔记，176页pdf
专知会员服务
50+阅读 · 2020年12月14日
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
【快讯】ICML 2020论文出炉，1088篇上榜， 你的paper中了吗？
专知会员服务
51+阅读 · 2020年6月1日
【深度伪造综述论文】The Creation and Detection of Deepfakes: A Survey
【深度伪造综述论文】The Creation and Detection of Deepfakes: A Survey
专知会员服务
54+阅读 · 2020年4月26日
【硬核书】信息论，528页pdf，Information Theory and Coding by Example
【硬核书】信息论，528页pdf，Information Theory and Coding by Example
专知会员服务
146+阅读 · 2020年4月20日
【AAAI2020】拓扑贝叶斯优化与持久性图：Topological Bayesian Optimization with Persistence Diagrams
【AAAI2020】拓扑贝叶斯优化与持久性图：Topological Bayesian Optimization with Persistence Diagrams
专知会员服务
10+阅读 · 2020年1月17日
【深度估计| 2019最新综述】单目深度估计方法综述（Monocular Depth Estimation: A Survey）
专知会员服务
67+阅读 · 2019年11月23日
【AAAI2020接受论文】预测性参与:开放领域对话系统自动评估的有效指标（Predictive Engagement: An Efficient Metric For Automatic Evaluation of Open-Domain Dialogue Systems）
【AAAI2020接受论文】预测性参与:开放领域对话系统自动评估的有效指标（Predictive Engagement: An Efficient Metric For Automatic Evaluation of Open-Domain Dialogue Systems）
专知会员服务
13+阅读 · 2019年11月15日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
55+阅读 · 2019年10月17日
MIT新书《强化学习与最优控制》
MIT新书《强化学习与最优控制》
专知会员服务
273+阅读 · 2019年10月9日
热门VIP内容
相关资讯
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年：MAML SNAIL
meta learning 17年：MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
CCF C类 | IJCNN 2019 Special Section : 信息论与深度学习
CCF C类 | IJCNN 2019 Special Section : 信息论与深度学习
Call4Papers
5+阅读 · 2018年12月7日
disentangled-representation-papers
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断（Variational inference)的总结
【论文】变分推断（Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
相关论文
On the Variance of the Fisher Information for Deep Learning
Arxiv
0+阅读 · 2021年7月9日
Fisher Information and Mutual Information Constraints
Arxiv
0+阅读 · 2021年7月8日
Moment-based density and risk estimation from grouped summary statistics
Arxiv
0+阅读 · 2021年7月8日
Consistency of the Maximal Information Coefficient Estimator
Arxiv
0+阅读 · 2021年7月8日
The Maximal Eigengap Estimator for Acoustic Vector-Sensor Processing
The Maximal Eigengap Estimator for Acoustic Vector-Sensor Processing
Arxiv
0+阅读 · 2021年7月7日
Discriminative Mutual Information Estimators for Channel Capacity Learning
Arxiv
0+阅读 · 2021年7月7日
Monocular Depth Estimation via Listwise Ranking using the Plackett-Luce Model
Arxiv
0+阅读 · 2021年7月7日
Non-Homogeneity Estimation and Universal Kriging on the Sphere
Arxiv
0+阅读 · 2021年7月6日
Decomposed Mutual Information Estimation for Contrastive Representation Learning
Arxiv
11+阅读 · 2021年6月25日
Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank
Arxiv
6+阅读 · 2020年8月20日
Top
微信扫码咨询专知VIP会员
Top