How to estimate the uncertainty of a given model is a crucial problem. Current calibration techniques treat different classes equally and thus implicitly assume that the distribution of training data is balanced, but ignore the fact that real-world data often follows a long-tailed distribution. In this paper, we explore the problem of calibrating the model trained from a long-tailed distribution. Due to the difference between the imbalanced training distribution and balanced test distribution, existing calibration methods such as temperature scaling can not generalize well to this problem. Specific calibration methods for domain adaptation are also not applicable because they rely on unlabeled target domain instances which are not available. Models trained from a long-tailed distribution tend to be more overconfident to head classes. To this end, we propose a novel knowledge-transferring-based calibration method by estimating the importance weights for samples of tail classes to realize long-tailed calibration. Our method models the distribution of each class as a Gaussian distribution and views the source statistics of head classes as a prior to calibrate the target distributions of tail classes. We adaptively transfer knowledge from head classes to get the target probability density of tail classes. The importance weight is estimated by the ratio of the target probability density over the source probability density. Extensive experiments on CIFAR-10-LT, MNIST-LT, CIFAR-100-LT, and ImageNet-LT datasets demonstrate the effectiveness of our method.


翻译:如何估计给定模型的不确定性是一个关键问题。当前的校准技术平等地处理不同的类别,并暗含着训练数据的分布是平衡的,但忽略了现实世界中数据往往服从长尾分布的事实。在这篇文章中,我们探讨了调整长尾分布模型的校准问题。由于不平衡的训练分布和平衡的测试分布之间的差别,现有的校准方法(如温度缩放)无法很好地推广到这个问题。特定的领域适应校准方法也不适用,因为它们依赖于不可用的目标域实例。从长尾分布中训练的模型往往对头部类别更过度自信。因此,我们提出了一种新颖的基于知识转移的校准方法,通过估计尾部类别样本的重要性权重来实现长尾校准。我们将每个类别的分布建模为高斯分布,并将头部类别的源统计信息视为先验来校准尾部类别的目标分布。我们适应性地从头部类别中传递知识来获取尾部类别的目标概率密度。通过目标概率密度与源概率密度的比值来估计重要性权重。CIFAR-10-LT、MNIST-LT、CIFAR-100-LT和ImageNet-LT数据集上的广泛实验证明了我们方法的有效性。

0
下载
关闭预览

相关内容

近期必读的六篇 ICML 2020【因果推理】相关论文
专知会员服务
87+阅读 · 2020年9月8日
EMNLP 2022 | 校准预训练模型中的事实知识
PaperWeekly
1+阅读 · 2022年11月22日
ACML 2022|三行代码解决长尾不平衡类别分类
极市平台
2+阅读 · 2022年11月3日
ACL 2022 | 分解的元学习小样本命名实体识别
PaperWeekly
1+阅读 · 2022年6月30日
深度学习模型不确定性方法对比
PaperWeekly
20+阅读 · 2020年2月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月25日
Arxiv
14+阅读 · 2022年5月6日
Arxiv
30+阅读 · 2021年7月7日
Arxiv
14+阅读 · 2020年12月17日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
VIP会员
相关资讯
EMNLP 2022 | 校准预训练模型中的事实知识
PaperWeekly
1+阅读 · 2022年11月22日
ACML 2022|三行代码解决长尾不平衡类别分类
极市平台
2+阅读 · 2022年11月3日
ACL 2022 | 分解的元学习小样本命名实体识别
PaperWeekly
1+阅读 · 2022年6月30日
深度学习模型不确定性方法对比
PaperWeekly
20+阅读 · 2020年2月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员