特征工程方法：一、类别变量编码

来源：Deeply Thought

编译：weakish

编者按：华沙大学机器学习科学家Wojciech Rosinski介绍了类别编码的主要方法。

介绍

这是特征工程方法系列的第一篇。在机器学习的实践中，特征工程是最重要而定义最松散的方面之一。它可以被视为艺术，没有严格的规则，创造性是其关键。

特征工程是要为机器学习模型创建更好的信息表示。即便使用非线性算法，如果使用原始数据，我们也无法建模数据集的变量之间的所有交互（关系）。因此，我们需要手工探查、处理数据。

这就带来了一个问题——深度学习怎么讲？深度学习是为了最小化手工处理数据的需求，使模型能够自行学习恰当的数据表示。在图像、语音、文本之类没有给定其他“元数据”的数据上，深度学习会表现得更好。而在表格式数据上，没有什么可以战胜梯度提升树方法，例如XGBoost或LightGBM。机器学习竞赛证明了这一点——几乎所有表格式数据的获胜方案中，基于决策树的模型是最佳的，而深度学习模型通常没法达到这么好的结果（但混合基于决策树的模型时效果非常好 ;-) ）

特征工程的偏差是领域知识。取决于需要解决的问题，每个数据集应该使用不同的特征工程方法，原因正在于此。不过，仍有一些广泛使用的方法，至少值得尝试下能否提升模型表现。HJ vav Veen的讲演中提到了大量的实用信息。下面的一些方法正是根据讲演的描述实现的。

本文以KaggleDays数据集为例，编码方法介绍参考了上面的讲演。

数据集

数据来自reddit，包含问题和回答。目标是预测回答的赞数。之所以用这个数据集为例，是因为它包含文本和标准特征。

引入需要用到的库：

import gc
import numpy as np
import pandas as pd

加载数据：

X = pd.read_csv('../input/train.csv', sep="\t", index_col='id')

列：

['question_id',
 'subreddit',
 'question_utc',
 'question_text',
 'question_score',
 'answer_utc',
 'answer_text',
 'answer_score']

每个question_id对应一个具体问题（见question_text）。每个question_id可能出现多次，因为每一行包含对这一问题的一个不同回答（见answer_text）。问题和回答的时间日期由_utc列提供。另外还包括问题发布的subreddit（版块）的信息。question_score是问题的赞数，而answer_score是回答的赞数。answer_score是目标变量。

数据需要根据question_id分为训练子集和验证子集，仿效Kaggle分训练集和测试集的做法。

question_ids = X.question_id.unique()
question_ids_train = set(pd.Series(question_ids).sample(frac=0.8))
question_ids_valid = set(question_ids).difference(question_ids_train)
X_train = X[X.question_id.isin(question_ids_train)]
X_valid = X[X.question_id.isin(question_ids_valid)]

类别特征和数值特征

机器学习模型只能处理数字。数值（连续、定量）变量是可以在有限或无限区间内取任何值的变量，它们可以很自然地用数字表示，所以可以在模型中直接使用。原始类别变量通常以字符串的形式存在，在传入模型之前需要变换。

subreddit是类别变量的一个好例子，其中包含41个不同的类别，例如：

['AskReddit', 'Jokes', 'politics', 'explainlikeimfive', 'gaming']

让我们看下最流行的类别（X.subreddit.value_counts()[:5]）：

AskReddit    275667
politics     123003
news          42271
worldnews     40016
gaming        32117
Name: subreddit, dtype: int64

数值变量的一个例子是question_score，可以通过X.question_score.describe()浏览信息：

mean        770.891169
std        3094.752794
min           1.000000
25%           2.000000
50%          11.000000
75%         112.000000
max       48834.000000
Name: question_score, dtype: float64

类别特征编码

类别编码的两个基本方法是独热编码（onehot encoding）和标签编码（label encoding）。独热编码可以通过pandas.get_dummies完成。具备K个类别的变量的编码结果是一个K列的二值矩阵，其中第i列的值为1意味着这项观测属于第i类。

标签编码直接将类别转换为数字。pandas.factorize提供了这一功能，或者，pandas中category类型的列提供了cat.codes。使用标签编码能够保持原本的维度。

还有一些不那么标准的编码方法也值得一试，它们可能可以提升模型的表现。这里将介绍三种方法：

• 频数编码（count encoding）

• labelcount编码

• 目标编码 （target encoding）

频数编码

频数编码使用频次替换类别，频次根据训练集计算。这个方法对离群值很敏感，所以结果可以归一化或者转换一下（例如使用对数变换）。未知类别可以替换为1。

尽管可能性不是非常大，有些变量的频次可能是一样的，这将导致碰撞——两个类别编码为相同的值。没法说这是否会导致模型退化或者改善，不过原则上我们不希望出现这种情况。

def count_encode(X, categorical_features, normalize=False):
    print('Count encoding: {}'.format(categorical_features))
    X_ = pd.DataFrame()
    for cat_feature in categorical_features:
        X_[cat_feature] = X[cat_feature].astype(
            'object').map(X[cat_feature].value_counts())
        if normalize:
            X_[cat_feature] = X_[cat_feature] / np.max(X_[cat_feature])
    X_ = X_.add_suffix('_count_encoded')
    if normalize:
        X_ = X_.astype(np.float32)
        X_ = X_.add_suffix('_normalized')
    else:
        X_ = X_.astype(np.uint32)
    return X_

让我们编码下subreddit列：

train_count_subreddit = count_encode(X_train, ['subreddit'])

并查看结果。最流行的5个subreddit：

AskReddit    221941
politics      98233
news          33559
worldnews     32010
gaming        25567
Name: subreddit, dtype: int64

编码为：

221941    221941
98233      98233
33559      33559
32010      32010
25567      25567
Name: subreddit_count_encoded, dtype: int64

基本上，这用频次替换了subreddit类别。我们也可以除以最频繁出现的类别的频次，以得到归一化的值：

1.000000    221941
0.442609     98233
0.151207     33559
0.144228     32010
0.115197     25567
Name: subreddit_count_encoded_normalized, dtype: int64

LabelCount编码

我们下面将描述的方法称为LabelCount编码，它根据类别在训练集中的频次排序类别（升序或降序）。相比标准的频次编码，LabelCount具有特定的优势——对离群值不敏感，也不会对不同的值给出同样的编码。

def labelcount_encode(X, categorical_features, ascending=False):
    print('LabelCount encoding: {}'.format(categorical_features))
    X_ = pd.DataFrame()
    for cat_feature in categorical_features:
        cat_feature_value_counts = X[cat_feature].value_counts()
        value_counts_list = cat_feature_value_counts.index.tolist()
        if ascending:
            # 升序
            value_counts_range = list(
                reversed(range(len(cat_feature_value_counts))))
        else:
            # 降序
            value_counts_range = list(range(len(cat_feature_value_counts)))
        labelcount_dict = dict(zip(value_counts_list, value_counts_range))
        X_[cat_feature] = X[cat_feature].map(
            labelcount_dict)
    X_ = X_.add_suffix('_labelcount_encoded')
    if ascending:
        X_ = X_.add_suffix('_ascending')
    else:
        X_ = X_.add_suffix('_descending')
    X_ = X_.astype(np.uint32)
    return X_

编码：

train_lc_subreddit = labelcount_encode(X_train, ['subreddit'])

这里默认使用降序，subreddit列最流行的5个类别是：

0    221941
1     98233
2     33559
3     32010
4     25567
Name: subreddit_labelcount_encoded_descending, dtype: int64

AskReddit是最频繁的类别，因此被转换为0，也就是第一位。

使用升序的话，同样这5个类别编码如下：

40    221941
39     98233
38     33559
37     32010
36     25567
Name: subreddit_labelcount_encoded_ascending, dtype: int64

目标编码

最后是最有技巧性的方法——目标编码。它使用目标变量的均值编码类别变量。我们为训练集中的每个分组计算目标变量的统计量（这里是均值），之后会合并验证集、测试集以捕捉分组和目标之间的关系。

举一个更明确的例子，我们可以在每个subreddit上计算answer_score的均值，这样，在特定subreddit发帖可以期望得到多少赞，我们可以有个大概的估计。

使用目标变量时，非常重要的一点是不要泄露任何验证集的信息。所有基于目标编码的特征都应该在训练集上计算，接着仅仅合并或连接验证集和测试集。即使验证集中有目标变量，它不能用于任何编码计算，否则会给出过于乐观的验证误差估计。

如果使用K折交叉验证，基于目标的特征应该在折内计算。如果仅仅进行单次分割，那么目标编码应该在分开训练集和验证集之后进行。

此外，我们可以通过平滑避免将特定类别编码为0. 另一种方法是通过增加随机噪声避免可能的过拟合。

处置妥当的情况下，无论是线性模型，还是非线性模型，目标编码都是最佳的编码方式。

def target_encode(X, X_valid, categorical_features, X_test=None,
                  target_feature='target'):
    print('Target Encoding: {}'.format(categorical_features))
    X_ = pd.DataFrame()
    X_valid_ = pd.DataFrame()
    if X_test is not None:
        X_test_ = pd.DataFrame()
    for cat_feature in categorical_features:
        group_target_mean = X.groupby([cat_feature])[target_feature].mean()
        X_[cat_feature] = X[cat_feature].map(group_target_mean)
        X_valid_[cat_feature] = X_valid[cat_feature].map(group_target_mean)
    X_ = X_.astype(np.float32)
    X_ = X_.add_suffix('_target_encoded')
    X_valid_ = X_valid_.astype(np.float32)
    X_valid_ = X_valid_.add_suffix('_target_encoded')
    if X_test is not None:
        X_test_[cat_feature] = X_test[cat_feature].map(group_target_mean)
        X_test_ = X_test_.astype(np.float32)
        X_test_ = X_test_.add_suffix('_target_encoded')
        return X_, X_valid_, X_test_
    return X_, X_valid_

编码：

train_tm_subreddit, valid_tm_subreddit = target_encode(
    X_train, X_valid, categorical_features=['subreddit'],
    target_feature='answer_score')

如果我们查看下编码后的值，就会发现不同reddit的平均赞数有明显的差别：

23.406061    220014
13.082699     98176
19.020845     33916
17.521887     31869
18.235424     25520
21.535477     24692
18.640282     20416
23.688890     20009
3.159401      18695
Name: subreddit_target_encoded, dtype: int64
AskReddit              220014
politics                98176
news                    33916
worldnews               31869
gaming                  25520
todayilearned           24692
funny                   20416
videos                  20009
teenagers               18695
Name: subreddit, dtype: int64

AskReddit中的回答平均能有23.4个赞，而politics和teenagers中的回答分别只有13.1个赞。这样的特征可能非常强大，因为它让我们可以在特征集中明确编码一些目标信息。

获取类别的编码值

无需修改编码函数，我们可以通过如下方式在验证集或测试集上合并取得的值：

encoded = train_lc_subreddit.subreddit_labelcount_encoded_descending.value_counts().index.values
raw = X_train.subreddit.value_counts().index.values
encoding_dict = dict(zip(raw, encoded))
X_valid['subreddit_labelcount_encoded_descending'] = X_valid.loc[:,
                                                                 'subreddit'].map(
                                                                 encoding_dict)

参考链接

• HJ vav Veen的讲演 https://www.slideshare.net/HJvanVeen/feature-engineering-72376750

• Datarevenue，本文的函数最初是为Datarevenue的特征工程数据库项目开发的。