- 数据挖掘的步骤
数据挖掘通常包括数据采集、数据分析、特征工程、训练模型、模型评估等步骤。
-
sklearn工作流程
sklearn主要进行虚线框内的工作(sklearn也可进行文本特征提取)
-
sklearn的主要方法fit、fit_transform、transform
transform 方法主要用来对特征进行转换
- 从可利用信息的角度，转换分为无信息转换和有信息转换：
无信息转换：指不利用任何其他信息进行转换
如： 指数、对数函数转换等
> - 有信息转换从是否利用目标值向量又分为无监督转换和有监督转换：
* 无监督转换： 只利用特征的统计信息的转换,统计信息包括均值、标准差、边界等等 如：标准化、PCA法降维等
* 有监督转换：即利用了特征信息又利用了目标值信息的转换。如：通过模型选特征、LDA法降维等 -
对常用转换类进行总结可得如下表：
import sklearn.preprocessing as prepimport sklearn.feature_selection as fsimport sklearn.decomposition as dp
| 包 | 类 | 参数列表 | 类别 | fit方法有用 | 说明 |
|---|---|---|---|---|---|
| prep | StandardScaler | 特征 | 无监督 | Y | 标准化 |
| prep | MinMaxScaler | 特征 | 无监督 | Y | 区间缩放 |
| prep | Normalizer | 特征 | 无信息 | N | 归一化 |
| prep | Binarizer | 特征 | 无信息 | N | 定量特征二值化 |
| prep | OneHotEncoder | 特征 | 无监督 | Y | 定性特征编码 |
| prep | Imputer | 特征 | 无监督 | Y | 缺失值计算 |
| prep | PolynomialFeatures | 特征 | 无信息 | N | 多项式变换(fit方法仅仅生成了多项式表达式) |
| prep | FunctionTransformer | 特征 | 无信息 | N | 自定义函数变换(自定义函数在transform方法中调用) |
| fs | VarianceThreshold | 特征 | 无监督 | Y | 方差选择法 |
| fs | SelectKBest | 特征/特征+目标值 | 无监督/有监督 | Y | 自定义特征评分选择 |
| fs | SelectKBest+chi2 | 特征+目标值 | 有监督 | Y | 卡方检验选择法 |
| fs | RFE | 特征+目标值 | 有监督 | Y | 递归特征消除法 |
| fs | SelectFromModel | 特征+目标值 | 有监督 | Y | 自定义模型训练选择法 |
| dp | PCA | 特征 | 无监督 | Y | PCA降维 |
| sklearn.lda | LDA | 特征+目标值 | 有监督 | Y | LDA降维 |
- fit方法主要工作是获取特征信息和目标值信息
Normalizer的fit方法实现如下
def fit(self, X, y=None):
"""Do nothing and return the estimator unchanged
This method is just there to implement the usual API and hence
work in pipelines.
"""
X = check_array(X, accept_sparse='csr')
return self
- 流水线式：前一个工作的输出是后一个工作的输入
- 并行式：工作可同时进行，使用同样的输入，所有工作完成后将各自的输出合并后输出
sklearn提供pipeline来完成流水线式和并行式的工作
-
关键技术
* 并行处理和流水线处理：将处理多个特征处理工作，甚至包括模型训练工作组合成一个工作(即将多个对象组合为一个对象) * 自动化调参：减少人工调参的繁琐 * 持久化：训练好的模型是储存在内存中的数据，持久化能将这些数据保存在文件系统中，之后使用无需进行训练，直接从文件系统中加载 并行处理
并行处理使得多个特征处理工作能够同时进行,根据对特征矩阵的读取方式不同，可分为整体并行处理和部分并行处理。
- 整体并行处理：即并行处理的每个工作输入都是矩阵的整体。
pipeline包提供了FeatureUnion来实现整体并行处理
from numpy import log1p
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import Binarizer
from sklearn.pipeline import FeatureUnion
#新建将整体特征矩阵进行对数函数转换的对象
step2_1 = ('ToLog', FunctionTransformer(log1p))
#新建将整体特征矩阵进行二值化类的对象
step2_2 = ('ToBinary', Binarizer())
#新建整体并行处理对象
#该对象也有fit和transform方法，fit和transform方法均是并行地调用需要并行处理的对象的fit和transform方法
#参数transformer_list为需要并行处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象
step2 = ('FeatureUnion', FeatureUnion(transformer_list=[step2_1, step2_2, step2_3]))
- 部分并行处理，即可定义每个工作需要输入的特征矩阵
在pipeline.FeatureUnion的基础上优化
from sklearn.pipeline import FeatureUnion, _fit_one_transformer, _fit_transform_one, _transform_one
from sklearn.externals.joblib import Parallel, delayed
from scipy import sparse
import numpy as np
class FeatureUnionExt(FeatureUnion):
def __init__(self, transformer_list, idx_list, n_jobs=1, transformer_weights=None):
self.idx_list = idx_list
FeatureUnion.__init__(self, transformer_list=map(lambda trans:(trans[0], trans[1]), transformer_list), n_jobs=n_jobs, transformer_weights=transformer_weights)
def fit(self, X, y=None):
transformer_idx_list = map(lambda trans, idx:(trans[0], trans[1], idx), self.transformer_list, self.idx_list)
transformers = Parallel(n_jobs=self.n_jobs)(
delayed(_fit_one_transformer)(trans, X[:,idx], y)
for name, trans, idx in transformer_idx_list)
self._update_transformer_list(transformers)
return self
def fit_transform(self, X, y=None, **fit_params):
transformer_idx_list = map(lambda trans, idx:(trans[0], trans[1], idx), self.transformer_list, self.idx_list)
result = Parallel(n_jobs=self.n_jobs)(
delayed(_fit_transform_one)(trans, name, X[:,idx], y,
self.transformer_weights, **fit_params)
for name, trans, idx in transformer_idx_list)
Xs, transformers = zip(*result)
self._update_transformer_list(transformers)
if any(sparse.issparse(f) for f in Xs):
Xs = sparse.hstack(Xs).tocsr()
else:
Xs = np.hstack(Xs)
return Xs
def transform(self, X):
transformer_idx_list = map(lambda trans, idx:(trans[0], trans[1], idx), self.transformer_list, self.idx_list)
Xs = Parallel(n_jobs=self.n_jobs)(
delayed(_transform_one)(trans, name, X[:,idx], self.transformer_weights)
for name, trans, idx in transformer_idx_list)
if any(sparse.issparse(f) for f in Xs):
Xs = sparse.hstack(Xs).tocsr()
else:
Xs = np.hstack(Xs)
return Xs
在本文提出的场景中，我们对特征矩阵的第1列（花的颜色）进行定性特征编码，对第2、3、4列进行对数函数转换，对第5列进行定量特征二值化处理。使用FeatureUnionExt类进行部分并行处理的代码如下：
from numpy import log1p
from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import Binarizer
#新建将部分特征矩阵进行定性特征编码的对象
step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
#新建将部分特征矩阵进行对数函数转换的对象
step2_2 = ('ToLog', FunctionTransformer(log1p))
#新建将部分特征矩阵进行二值化类的对象
step2_3 = ('ToBinary', Binarizer())
#新建部分并行处理对象
#参数transformer_list为需要并行处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象
#参数idx_list为相应的需要读取的特征矩阵的列
step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))
- 流水线处理
pipeline提供了Pipeline类来实现流水线处理。
流水线上除最后一个工作以外，其他都要执行fit_transform方法，且上一个工作输出作为下一个工作的输入。最后一个工作必须实现fit方法，输入为上一个工作的输出；但是不限定一定有transform方法，因为流水线的最后一个工作可能是训练！
from numpy import log1p
from sklearn.preprocessing import Imputer
from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import FunctionTransformer
from sklearn.preprocessing import Binarizer
from sklearn.preprocessing import MinMaxScaler
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
#新建计算缺失值的对象
step1 = ('Imputer', Imputer())
#新建将部分特征矩阵进行定性特征编码的对象
step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
#新建将部分特征矩阵进行对数函数转换的对象
step2_2 = ('ToLog', FunctionTransformer(log1p))
#新建将部分特征矩阵进行二值化类的对象
step2_3 = ('ToBinary', Binarizer())
#新建部分并行处理对象，返回值为每个并行工作的输出的合并
step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))
#新建无量纲化对象
step3 = ('MinMaxScaler', MinMaxScaler())
#新建卡方校验选择特征的对象
step4 = ('SelectKBest', SelectKBest(chi2, k=3))
#新建PCA降维的对象
step5 = ('PCA', PCA(n_components=2))
#新建逻辑回归的对象，其为待训练的模型作为流水线的最后一步
step6 = ('LogisticRegression', LogisticRegression(penalty='l2'))
#新建流水线处理对象
#参数steps为需要流水线处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象
pipeline = Pipeline(steps=[step1, step2, step3, step4, step5, step6])
- 自动化调参
grid_search包提供了自动化调参的工具，包括GridSearchCV类。对组合好的对象进行训练以及调参
from sklearn.grid_search import GridSearchCV
#新建网格搜索对象
#第一参数为待训练的模型
#param_grid为待调参数组成的网格，字典格式，键为参数名称（格式“对象名称__子对象名称__参数名称”），值为可取的参数值列表
grid_search = GridSearchCV(pipeline, param_grid={'FeatureUnionExt__ToBinary__threshold':[1.0, 2.0, 3.0, 4.0], 'LogisticRegression__C':[0.1, 0.2, 0.4, 0.8]})
#训练以及调参
grid_search.fit(iris.data, iris.target)
- 持久化
externals.joblib包提供了dump和load方法来持久化和加载内存数据：
#持久化数据
#第一个参数为内存中的对象
#第二个参数为保存在文件系统中的名称
#第三个参数为压缩级别，0为不压缩，3为合适的压缩级别
dump(grid_search, 'grid_search.dmp', compress=3)
#从文件系统中加载数据到内存中
grid_search = load('grid_search.dmp')
