For the binary prevalence quantification problem under prior probability shift, we determine the asymptotic variance of the maximum likelihood estimator. We find that it is a function of the Brier score for the regression of the class label against the features under the test data set distribution. This observation suggests that optimising the accuracy of a base classifier on the training data set helps to reduce the variance of the related quantifier on the test data set. Therefore, we also point out training criteria for the base classifier that imply optimisation of both of the Brier scores on the training and the test data sets.


翻译:对于在先前概率变化情况下的二元流行程度量化问题,我们确定最大概率估计值的无症状差异。我们发现,这是Brier分数相对于测试数据集分布下分类标签特征回归的函数。这一观察表明,在培训数据集上优化基准分类员的准确性有助于减少测试数据集中相关限定值的差异。因此,我们还指出了基准分类师的培训标准,这意味着在培训和测试数据集中优化Brier分数。

0
下载
关闭预览

相关内容

先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的概率。
专知会员服务
21+阅读 · 2021年9月23日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
72+阅读 · 2021年5月11日
不可错过!华盛顿大学最新《生成式模型》课程,附PPT
专知会员服务
61+阅读 · 2020年12月11日
[NeurIPS 2020]对图神经网络更实际的对抗式攻击
专知会员服务
8+阅读 · 2020年11月1日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
101+阅读 · 2019年10月9日
利用Uncertainty修正Domain Adaptation中的伪标签
极市平台
3+阅读 · 2020年4月16日
已删除
将门创投
8+阅读 · 2019年3月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
深度 | 详解可视化利器t-SNE算法:数无形时少直觉
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Arxiv
3+阅读 · 2014年10月9日
VIP会员
相关VIP内容
专知会员服务
21+阅读 · 2021年9月23日
【ICLR2021】常识人工智能,77页ppt
专知会员服务
72+阅读 · 2021年5月11日
不可错过!华盛顿大学最新《生成式模型》课程,附PPT
专知会员服务
61+阅读 · 2020年12月11日
[NeurIPS 2020]对图神经网络更实际的对抗式攻击
专知会员服务
8+阅读 · 2020年11月1日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
101+阅读 · 2019年10月9日
相关资讯
利用Uncertainty修正Domain Adaptation中的伪标签
极市平台
3+阅读 · 2020年4月16日
已删除
将门创投
8+阅读 · 2019年3月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
深度 | 详解可视化利器t-SNE算法:数无形时少直觉
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Top
微信扫码咨询专知VIP会员