现实世界中的对象频率通常遵循幂次定律,导致机器学习模型所看到的具有长尾类分布的数据集与我们对模型在所有类上表现良好的期望之间的不匹配。我们从领域适应的角度来分析这种不匹配。首先,我们将现有的长尾分类的类平衡方法与目标移位相联系,这是一个在领域适应方面得到充分研究的场景。这种联系表明,这些方法隐含地假设训练数据和测试数据共享相同的类条件分布,这种分布在一般情况下不成立,尤其是尾部类。虽然头类可以包含丰富多样的训练示例,很好地表示推断时的预期数据,但尾部类通常缺乏代表性的训练数据。为此,我们建议通过元学习方法显式地估计类条件分布之间的差异来扩充经典的类平衡学习。我们用6个基准数据集和3个损失函数验证了我们的方法。

成为VIP会员查看完整内容
22

相关内容

【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
83+阅读 · 2020年6月9日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
25+阅读 · 2020年5月25日
如何解决计算机视觉中的深度域适应问题?
AI前线
28+阅读 · 2019年7月24日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
49+阅读 · 2019年5月29日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
深度思考 | 从BERT看大规模数据的无监督利用
PaperWeekly
11+阅读 · 2019年2月18日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
Arxiv
5+阅读 · 2020年3月17日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
8+阅读 · 2018年12月6日
Arxiv
5+阅读 · 2018年10月23日
Arxiv
10+阅读 · 2017年7月4日
VIP会员
微信扫码咨询专知VIP会员