我进入Kaggle前2%的秘密——Featexp

会员服务 ·

我进入Kaggle前2%的秘密——Featexp

2018 年 11 月 7 日 论智

来源：Medium

编译：Bing

编者按：Kaggle竞赛对很多数据科学爱好者来说都不陌生，今天论智君为大家带来Abhay Pawar总结的进入Kaggle2%的技巧。以下是对原文的编译。

过去几年，我创建了很多研究特征并建立更好地机器学习模型的方法。这些简单强大的技巧帮我在Instacart Market Basket Analysis竞赛中得到了前2%的名次，不单单在竞赛中，这些技巧在其他任务中也运用到了。

用数字数据创建任何监督式学习模型中，最重要的一个方面就是完全理解特征。观察模型的partial dependence plot可以帮助了解模型在任意特征下的输出变化。

但是，这些图存在的问题是，它们都需要用经过训练的模型创建。如果我们能直接从训练数据中创建图形，就更有助于了解数据。事实上，它能帮助我们做以下工作：

理解特征
辨别噪声特征（这是最有趣的部分！）
处理特征（feature engineering）
特征重要性
特征debugging
泄漏检测和理解
模型监控

为了更易于使用，我会在本文中用一个名为featexp的Python包表示出来，同时会讲解它是如何用于特征研究的。我们将利用Kaggle上的Home Credit Default Risk竞赛中的数据集，该竞赛的任务是根据数据预测信用违约者。

1. 特征理解

如果因变量（目标变量）是二元的，所有的点要么分布在0，要么分布在1，散点图是无法工作的。对于连续的目标，数据点太多会难以理解目标和特征趋势。但是Featexp可以解决这一问题，创建更好的散点图。让我们试试吧！

  
  
    
   
   
     from featexp import get_univariate_plots
   
   
     
   
   
     # Plots drawn for all features if nothing is passed in feature_list parameter.
   
   
     get_univariate_plots(data=data_train, target_col='target', 
   
   
                          features_list=['DAYS_BIRTH'], bins=10)

特征 vs. 目标的散点图

Featexp首先用横轴的数字特征创建人口，之后计算每段人口上目标的平均值，然后作为竖轴。在我们的案例中，目标平均值指的是违约率。散点图表示，DAYS_BIRTH负值越大（年龄越大），违约率越低。这比较好理解，因为年轻人更容易委员。这一折线图帮助我们了解了特征所反映的顾客特点，以及它是如何影响模型的。右侧的图表展示了每一阶段人口所含的顾客数量。

2. 辨别噪声特征

噪声特征会造成过度拟合，所以辨别它们时有一定难度。在featexp中，你可以输入一个测试集（或验证集），比较在训练或测试中的特征趋势，来确定噪声。

  
  
    
   
   
     get_univariate_plots(data=data_train, target_col='target', data_test=data_test, features_list=['DAYS_EMPLOYED'])

训练和测试中的特征趋势比较

Featexp通过两种尺度计算出图中结果：

趋势相关性（在测试图中）：如果特征在训练和验证集上并没有表现出相同的趋势，就有可能导致过度拟合。因为模型学习的东西并不能应用于测试数据中。趋势相关性能帮助我们了解训练趋势和测试趋势之间的相似程度。而上述特征有99%的相关性，说明并无太多噪声。
趋势变化：趋势方向突然和重复的改变都有可能暗示特征的出现，但是这类特征的改变也可能会因为其他特征上每组人数不同而产生。所以，违约路不能与其他组相比较。

下方的特征图由于没有同样的趋势，所以相关性为85%。这两个尺度可以用来减少噪声特征。

当特征较多时，减少趋势相关特征非常容易，因为它们互相连接。这会导致更少的过度拟合，其他相关特征会避免信息损失。另外，要注意不要丢掉过多重要的特征，因为这可能导致性能下降。同时，你不能用特征重要性辨别噪声，因为它们也很重要。

利用不同时间点中的测试数据结果会更好，因为这样可以验证特征趋势是否会随时间而改变。

Featexp中的gettrendstats()函数会为每个特征返回一个带有趋势相关性和变化的数据框架。

  
  
    
   
   
     from featexp import get_trend_stats
   
   
     stats = get_trend_stats(data=data_train, target_col='target', data_test=data_test)

让我们试试在数据中减少低相关性的特征，看看结果会如何变化：

不同特征选择的AUC

可以看到，从越高的趋势相关性开始减少特征，排行榜上的AUC就越高。保留重要特征后，AUC分数提升到了0.74。有趣的是，测试AUC并不如LB AUC变化的多。完整代码：github.com/abhayspawar/featexp/blob/master/featexp_demo.ipynb

3. 特征处理

通过观察图表，可以创建更好的特征；了解掌握数据，可以进行更好的特征工程处理。但是除此之外，这些工作还能让你改进现有的特征。让我们看看另一个特征EXT_SOURCE_1：

EXT_SOURCE_1值越高的顾客，违约率越低，但是，第一组数值（约有8%）的违约率，并不足讯这一特征趋势，它的负值约为-99.985，并且其中的人数非常多。这可能表明其中有特殊值，所以不符合整体规律。不过非线性模型在学习这类关系时不会受阻，但是对于线性回归这类的线性模型，在含有如此特殊值和null值的情况下，应该输入有着相同违约率的值，而不是简单地输入平均值。