【干货】机器学习中样本比例不平衡的处理方法

2018 年 1 月 14 日 机器学习研究会
                                                                                                                                                                                      
点击上方 “机器学习研究会”可以订阅
摘要
 

转自:机器学习算法与自然语言处理

推荐阅读时间:5min~12min


主要内容:机器学习中样本比例不平衡的处理方法


在机器学习中,常常会遇到样本比例不平衡的问题,如对于一个二分类问题,正负样本的比例是 10:1。

这种现象往往是由于本身数据来源决定的,如信用卡的征信问题中往往就是正样本居多。样本比例不平衡往往会带来不少问题,但是实际获取的数据又往往是不平衡的,因此本文主要讨论面对样本不平衡时的解决方法。

样本不平衡往往会导致模型对样本数较多的分类造成过拟合,即总是将样本分到了样本数较多的分类中;除此之外,一个典型的问题就是 Accuracy Paradox,这个问题指的是模型的对样本预测的准确率很高,但是模型的泛化能力差。

其原因是模型将大多数的样本都归类为样本数较多的那一类,如下所示

准确率为

而假如将所有的样本都归为预测为负样本,准确率会进一步上升,但是这样的模型显然是不好的,实际上,模型已经对这个不平衡的样本过拟合了。

针对样本的不平衡问题,有以下几种常见的解决思路

  1. 搜集更多的数据

  2. 改变评判指标

  3. 对数据进行采样

  4. 合成样本

  5. 改变样本权重

1
搜集更多的数据

搜集更多的数据,从而让正负样本的比例平衡,这种方法往往是最被忽视的方法,然而实际上,当搜集数据的代价不大时,这种方法是最有效的。

但是需要注意,当搜集数据的场景本来产生数据的比例就是不平衡时,这种方法并不能解决数据比例不平衡问题。

2
 改变评判指标

改变评判指标,也就是不用准确率来评判和选择模型,原因就是我们上面提到的 Accuracy Paradox 问题。实际上有一些评判指标就是专门解决样本不平衡时的评判问题的,如准确率,召回率,F1值,ROC(AUC),Kappa 等。

根据这篇文章,ROC 曲线具有不随样本比例而改变的良好性质,因此能够在样本比例不平衡的情况下较好地反映出分类器的优劣。

关于评判指标更详细的内容可参考文章: Classification Accuracy is Not Enough: More Performance Measures You Can Use

3
对数据进行采样

对数据采样可以有针对性地改变数据中样本的比例,采样一般有两种方式:over-sampling和 under-sampling,前者是增加样本数较少的样本,其方式是直接复制原来的样本,而后者是减少样本数较多的样本,其方式是丢弃这些多余的样本。

通常来说,当总样本数目较多的时候考虑 under-sampling,而样本数数目较少的时候考虑 over-sampling

关于数据采样更详细的内容可参考 Oversampling and undersampling in data analysis


原文链接:

https://mp.weixin.qq.com/s/5csfnBWZ2MQsnWZnNj9b8w

“完整内容”请点击【阅读原文】
↓↓↓
登录查看更多
8

相关内容

【2020新书】监督机器学习,156页pdf,剑桥大学出版社
专知会员服务
150+阅读 · 2020年6月27日
【干货书】机器学习Python实战教程,366页pdf
专知会员服务
329+阅读 · 2020年3月17日
专知会员服务
53+阅读 · 2020年3月16日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
零样本图像分类综述 : 十年进展
专知会员服务
121+阅读 · 2019年11月16日
生成式对抗网络GAN异常检测
专知会员服务
114+阅读 · 2019年10月13日
目标检测小tricks之样本不均衡处理
PaperWeekly
49+阅读 · 2019年4月5日
机器学习中如何处理不平衡数据?
机器之心
12+阅读 · 2019年2月17日
在深度学习中处理不均衡数据集
极市平台
19+阅读 · 2018年11月27日
深度学习训练数据不平衡问题,怎么解决?
AI研习社
7+阅读 · 2018年7月3日
样本不平衡数据集防坑骗指南
人工智能前沿讲习班
8+阅读 · 2018年6月7日
关于处理样本不平衡问题的Trick整理
机器学习算法与Python学习
14+阅读 · 2017年12月3日
机器学习算法比较
我爱机器学习
4+阅读 · 2016年12月11日
Arxiv
7+阅读 · 2020年3月1日
Arxiv
5+阅读 · 2019年2月28日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关VIP内容
【2020新书】监督机器学习,156页pdf,剑桥大学出版社
专知会员服务
150+阅读 · 2020年6月27日
【干货书】机器学习Python实战教程,366页pdf
专知会员服务
329+阅读 · 2020年3月17日
专知会员服务
53+阅读 · 2020年3月16日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
零样本图像分类综述 : 十年进展
专知会员服务
121+阅读 · 2019年11月16日
生成式对抗网络GAN异常检测
专知会员服务
114+阅读 · 2019年10月13日
相关资讯
目标检测小tricks之样本不均衡处理
PaperWeekly
49+阅读 · 2019年4月5日
机器学习中如何处理不平衡数据?
机器之心
12+阅读 · 2019年2月17日
在深度学习中处理不均衡数据集
极市平台
19+阅读 · 2018年11月27日
深度学习训练数据不平衡问题,怎么解决?
AI研习社
7+阅读 · 2018年7月3日
样本不平衡数据集防坑骗指南
人工智能前沿讲习班
8+阅读 · 2018年6月7日
关于处理样本不平衡问题的Trick整理
机器学习算法与Python学习
14+阅读 · 2017年12月3日
机器学习算法比较
我爱机器学习
4+阅读 · 2016年12月11日
相关论文
Top
微信扫码咨询专知VIP会员