The goal in label-imbalanced and group-sensitive classification is to optimize relevant metrics such as balanced error and equal opportunity. Classical methods, such as weighted cross-entropy, fail when training deep nets to the terminal phase of training (TPT), that is training beyond zero training error. This observation has motivated recent flurry of activity in developing heuristic alternatives following the intuitive mechanism of promoting larger margin for minorities. In contrast to previous heuristics, we follow a principled analysis explaining how different loss adjustments affect margins. First, we prove that for all linear classifiers trained in TPT, it is necessary to introduce multiplicative, rather than additive, logit adjustments so that the interclass margins change appropriately. To show this, we discover a connection of the multiplicative CE modification to the cost-sensitive support-vector machines. Perhaps counterintuitively, we also find that, at the start of training, the same multiplicative weights can actually harm the minority classes. Thus, while additive adjustments are ineffective in the TPT, we show that they can speed up convergence by countering the initial negative effect of the multiplicative weights. Motivated by these findings, we formulate the vector-scaling (VS) loss, that captures existing techniques as special cases. Moreover, we introduce a natural extension of the VS-loss to group-sensitive classification, thus treating the two common types of imbalances (label/group) in a unifying way. Importantly, our experiments on state-of-the-art datasets are fully consistent with our theoretical insights and confirm the superior performance of our algorithms. Finally, for imbalanced Gaussian-mixtures data, we perform a generalization analysis, revealing tradeoffs between balanced / standard error and equal opportunity.


翻译:标签平衡和群体敏感分类的目标是优化相关指标,如平衡错误和平等机会。 典型的方法,如加权交叉渗透,在培训到培训终点阶段(TPT)时,即培训超过零培训错误,即培训超过零培训的深网(TPT)不成功。 这一观察促使最近根据促进少数群体较大利润幅度的直观机制,在开发杂乱的替代方法方面开展了大量活动。 与以往的超常机制不同,我们遵循一项原则性分析,解释不同的损失调整对利润幅度有何影响。 首先,我们证明对于在TPT培训的所有线性分类师来说,有必要引入多复制性而非添加性调整,以便适当改变班级间差幅。为了显示这一点,我们发现了多复制性CE修改与成本敏感的支持-矢量机器之间的关联。 也许相反,我们也发现,在培训开始时,同样的倍增权重权重实际上会损害少数群体的等级。 因此,在TPT中, 添加性调整是无效的,我们表明他们可以加快趋同的趋同性趋同,我们之间的,我们通过直径直的逻辑- 等的逻辑- 数据分析,因此, 我们的解的常规的逻辑- 将一个特殊的矢量分析, 我们的逻辑- 将一个特殊的矢量值数据,我们进取到一个特殊的矢量分析。

0
下载
关闭预览

相关内容

深度学习理论,55页ppt,Preetum Nakkiran (UCSD)
专知会员服务
32+阅读 · 2021年10月27日
专知会员服务
35+阅读 · 2021年7月7日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
【AAAI2021】 层次图胶囊网络
专知会员服务
82+阅读 · 2020年12月18日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
【TED】什么让我们生病
英语演讲视频每日一推
7+阅读 · 2019年1月23日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2022年1月9日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Arxiv
3+阅读 · 2018年1月31日
VIP会员
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
【TED】什么让我们生病
英语演讲视频每日一推
7+阅读 · 2019年1月23日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员