简介

本文主要说明特征工程中关于序数特征和类别特征的常用处理方法。主要包含LabelEncoder、One-Hot编码、DummyCoding、FeatureHasher以及要重点介绍的WOE编码。

序数特征处理

序数特征指的是有序但无尺度的特征。比如表示‘学历’的特征，'高中'、'本科'、'硕士'，这些特征彼此之间是有顺序关系的，但是特征本身无尺度，并且也可能不是数值类型。在实际应用中，一般是字符类型居多，为了将其转换成模型能处理的形式，通常需要先进行编码，比如LabelEncoding。如果序数特征本身就是数值类型变量，则可不进行该步骤。下面依次介绍序数特征相关的处理方式。

Label Encoding

首先介绍Label Encoding编码方式，该方式默认从0开始，按照变量字符顺序排序，例子如下：

from sklearn.preprocessing import LabelEncoder

x = ['a', 'b', 'a', 'c', 'b']

encoder = LabelEncoder()
x1 = encoder.fit_transform(x)
x1

编码结果

可以看到，原始特征一共被分为了3类，'a'、'b'、'c'编码后分别为'0'、'1'、'2'。
如果你的数据是用pandas表示的，pandas中也有类似的处理方式，通过类别编码的方式得到的结果是一样的。

import pandas as pd

x2 = pd.Series(x).astype('category')
x2.cat.codes.values

编码结果

因子化

除此之外，pandas中还有一种编码方式，叫做'因子化'。不过它并不是按照特征的字符顺序来排序的，而是按照特征变量出现的先后顺序来编码的，结果本质上没有区别。对比例子如下：

x = ['a', 'b', 'a', 'c', 'b']
# 调换了第一个a和第四个c的位置
x1 = ['c', 'b', 'a', 'a', 'b']

x2, uniques = pd.factorize(x)
x3, uniques = pd.factorize(x1)
print("x2: ", x2)
print("x3: ", x3)

编码结果

二值化

序数特征还可以进行二值化操作，小于或者大于阈值的时候分别为0和1。实例如下：

x = ['a', 'b', 'a', 'c', 'b']
x4 = pd.Series(x)
x4 = (x4 >= 'b').astype(int) #令大于等于'b'的都为1
x4.values

二值化结果

类别特征处理

类别特征由于没有顺序也没有尺度，因此处理较为麻烦，但是在CTR等领域却是非常常见的特征。比如商品的类型，颜色，用户的职业，兴趣等等。类别变量编码方法中最常使用的就是One-Hot编码，接下来结合具体实例来介绍。

One-Hot编码

One-Hot编码，又称为'独热编码'，其变换后的单列特征值只有一位是1。如下例所示，一个特征中包含3个不同的特征值(a,b,c)，编码转换后变成3个子特征，其中每个特征值中只有一位是有效位1。

from sklearn.preprocessing import LabelEncoder, OneHotEncoder

one_feature = ['b', 'a', 'c']
label_encoder = LabelEncoder()
feature = label_encoder.fit_transform(one_feature)
onehot_encoder = OneHotEncoder(sparse=False)
onehot_encoder.fit_transform(feature.reshape(-1, 1))

one-hot编码结果

这里要注意的是，因为原始特征是字符串类型，这里使用上一节的LabelEncoder先将其转换成数值类型。但是实际上这一步也不需要，OneHotEncoder可以直接处理字符串类型。

LabelBinarizer

sklearn中的LabelBinarizer也具有同样的作用，代码如下：

from sklearn.preprocessing import LabelBinarizer
feature = np.array(['b', 'a', 'c'])
LabelBinarizer().fit_transform(feature)

LabelBinarizer转换结果

虚拟编码Dummy Coding

同样，pandas中也内置了对应的处理方式,使用起来比Sklearn更加方便。实例如下：

one_feature = ['b', 'a', 'c']
pd.get_dummies(one_feature, prefix='test') # 设置前缀test

get_dummies编码

其实仔细观察One-Hot编码会发现，具有n个类别值的单个特征将会编码成n个子特征。但实际上有一维是冗余的。虚拟编码（dummy coding）可以只产生n-1个特征，再使用一个全零的向量，实例如下：

one_feature = ['b', 'a', 'c']
pd.get_dummies(one_feature, prefix='test', drop_first=True) # 设置前缀test

虚拟编码

可以看到这里只产生了2个子特征，剩余的一个特征由全零向量表示。

特征哈希

按照上述编码方式，如果某个特征具有100个类别值，那么经过编码后将产生100个或99个新特征，这极大地增加了特征维度和特征的稀疏度，同时还可能会出现内存不足的情况。sklearn中的FeatureHasher接口采用了hash的方法，将不同的值映射到用户指定长度的数组中，使得输出特征的维度是固定的，该方法占用内存少，效率高，可以在多类别变量值中使用，但是由于采用了Hash函数的方式，所以具有冲突的可能，即不同的类别值可能映射到同一个特征变量值中。
下面的例子中，原始特征类别值共有10个不同的值，但是只采用了长度为5的数组进行编码。

from sklearn.feature_extraction import FeatureHasher

h = FeatureHasher(n_features=5, input_type='string')
test_cat = ['a','b','c','d','e','f','g','h','i','j','a','b']
f = h.transform(test_cat)
f.toarray()

FeatureHasher

可以看到编码后的特征值是有重复的，说明多个不同的原始特征类别值编码后，被映射到了同一个类别里。

多类别值处理方式

当类别值过多时，One-Hot 编码或者Dummy Coding都可能导致编码出来的特征过于稀疏，其次也会占用过多内存。如果使用FeatureHasher，n_features的设置不好把握，可能会造成过多冲突，造成信息损失。这里提供一种基于统计的编码方法，包括基于特征值的统计或者基于标签值的统计——基于标签的编码。

下面的代码演示了使用特征值出现频数的分组方法，小于指定阈值的特征将被编码为同一个值。

import seaborn as sns

test = ['a','b','c','d','e','a','a','c']
df = pd.DataFrame(test, columns=['alpha'])
sns.countplot(df['alpha'])

频数划分

首先我们将每个类别值出现的频数计算出来，比如我们设置阈值为1，那么所有小于阈值1的类别值都会被编码为同一类，大于1的类别值会分别编码，如果出现频数一样的类别值，既可以都统一分为一个类，也可以按照某种顺序进行编码，这个可以根据业务需要自行决定。那么根据上图，可以得到其编码值为：

按照频数编码结果

即（a,c）分别编码为一个不同的类别，（e,b,d）编码为同一个类别。

WOE编码

WOE（Weight of Evidence，证据权重）编码利用了标签信息，属于有监督的编码方式。该方式广泛用于金融领域信用风险模型中，是该领域的经验做法。下面先给出WOE的计算公式：

值可解释为第类别中好坏样本分布比值的对数。其中各个分量的解释如下：

• 表示该类别中坏样本的分布
• 表示该类别中好样本的分布
• 表示该类别中坏样本的数量在总体坏样本中的占比
• 表示该类别中好样本的数量在总体好样本中的占比

很明显，如果整个分数的值大于1，那么WOE值为正，否则为负，所以WOE值的取值范围为正负无穷。
WOE值直观上表示的实际上是“当前分组中坏客户占所有坏客户的比例”和“当前分组中好客户占所有坏客户的比例”的差异。转化公式以后，也可以理解为：当前这个组中坏客户和好客户的比值，和所有样本中这个比值的差异。这个差异为这两个比值的比值，再取对数来表示的。
WOE越大，这种差异越大，这个分组里的样本坏样本可能性就越大，WOE越小，差异越小，这个分组里的坏样本可能性就越小。

下面结合一个例子来说明WOE的计算：

np.random.seed(0)
# 随机生成1000行数据
df = pd.DataFrame({
    'x': np.random.choice(['R','G','B'], 1000),
    'y': np.random.randint(2, size=1000)
})
df.head()

随机生成的数据

其中x代表特征，包含3个类别（R，G，B），y表示标签，取值范围为0、1，分别代表好、坏标签。
分别统计该特征中各个类别的占比，代码如下：

pd.crosstab(df['y'], df['x'], margins=True)

各类别占比

参考

• 《机器学习--软件工程方法与实现》
• https://zhuanlan.zhihu.com/p/146476834
• https://www.jianshu.com/p/4a1dc6ea3f8c