实用机器学习模板 pipeline - 5 分钟快速搭建模型

如果想要快速的搭建机器学习的模型，scikit - learn 是最好的工具之一，他提供的 packages 能够快速帮助我们使用 Python 搭建起一个机器学习模型，在这里我们就用一个 cheatsheet 来快速展示一个用机器学习 Pipeline。

一个基础的 机器学习Pipeline 主要包含了下述 5 个步骤：

- 数据读取

- 数据预处理

- 创建模型

- 评估模型结果

- 模型调参

那我们接下去就根据 Pipeline 里面的 5 个步骤，来分别结合 scikit-learn 进行说明。

1. 数据读取，拆分训练集、测试集

数据读取之后，通常可以存储在 NumPy 数组或 SciPy 矩阵或者 Pandas DataFrame 中。我们一般推荐 Pandas 的处理方法，其后也会介绍 Pandas 库中的缺失值处理。

- NumPy

>>> import numpy as np

>>> X = np.random.random((10,5))

>>> y = np.array(['M','M','F','F','M','F','M','M','F','F','F'])

>>> X[X < 0.7] = 0

- Pandas

>>> import pandas as pd

>>> data = pd.read_csv('data.csv') 

>>> X = data[['a',''b]]

>>> y = data['c']

加载数据后，您的下一个任务就是将数据集：

- 拆分训练数据和测试数据

当然你也可能听说过训练集、验证集、测试集，他们的关系是训练集（可在训练时拆分成训练集、验证集）、测试集。所以在此处单独划分出测试集，没有任何的问题。

>>> from sklearn.model_selection import train_test_split

>>> X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

注解一下 random_state，这是计算机内部的一个随机函数，通过这个参数设置可以确保每次拆分的测试集是一样的，方便在后续测试不同模型性能时进行控制变量。

2. 数据预处理

- 数据标准化

数据标准化是数据预处理步骤之一，用于重新调整一个或多个属性，使属性的平均值为0，标准差为1。标准化会让数据符合高斯（钟形曲线）分布。

>>> from sklearn.preprocessing import StandardScaler

>>> scaler = StandardScaler().fit(X_train)

>>> standardized_X = scaler.transform(X_train)

>>> standardized_X_test = scaler.transform(X_test)

- 归一化

归一化是一种通常用于机器学习的数据预处理方法。归一化的主要目标是更改数据集中数字列的值，以便数据可以具有相同的比例。

>>> from sklearn.preprocessing import Normalizer

>>> scaler = Normalizer().fit(X_train)

>>> normalized_X = scaler.transform(X_train)

>>> normalized_X_test = scaler.transform(X_test)

- 二值化

二值化是对文本计数数据执行的常见操作。使用二值化，我们可以用该指来分析特征的存在与否，而不是例如具有量化的出现次数。

>>> from sklearn.preprocessing import Binarizer

>>> binarizer = Binarizer(threshold=0.0).fit(X)

>>> binary_X = binarizer.transform(X)

- 编码

LabelEncoder是用于编码类级别的数据预处理的另一个类型，它还可用于将非数字标签转换为数字标签。

>>> from sklearn.preprocessing import LabelEncoder

>>> enc = LabelEncoder()

>>> y = enc.fit_transform(y)

- 填充缺失值

python 中的 Imputer 类可以用于填充缺失值。它通过使用缺失值所在的行或列的平均值，中值或最常值来实现此目的。此类还允许编码不同的缺失值。

缺失值的去除和补充十分的重要，因为 机器学习的大部分模型是不能处理缺损值的。

>>> from sklearn.preprocessing import Imputer

>>> imp = Imputer(missing_values=0, strategy='mean', axis=0)

>>> imp.fit_transform(X_train)

-- 去掉缺失值

这里主要是针对 Pandas 读入方法的数据来进行缺失值的处理。

>>> import pandas as pd

>>> data = pd.read_csv("data.csv")

>>> data.dropna()

- 生成多项式特征

多项式特征生成一个新的特征矩阵，该特征矩阵由度数小于或等于指定度数的特征的所有多项式组合组成。该处理是为了增加更多的数据特征。例如，如果输入样本是二维的并且形式为[a，b]，那么2次多项式特征是[1，a，b，a ^ 2，ab，b ^ 2]。

>>> from sklearn.preprocessing import PolynomialFeatures

>>> poly = PolynomialFeatures(5)

>>> poly.fit_transform(X)

3. 创建模型

- 监督学习

监督学习是一种机器学习，使模型能够在对标记数据进行培训后预测未来结果。在这里你会发现，真实的模型创建只需要一句代码。

# Linear Regression Algorithm

>>> from sklearn.linear_model import LinearRegression

>>> lr = LinearRegression(normalize=True)

# Naive Bayes Algorithm

>>> from sklearn.naive_bayes import GaussianNB

>>> gnb = GaussianNB()

# KNN Algorithm

>>> from sklearn import neighbors

>>> knn = neighbors.KNeighborsClassifier(n_neighbors=5)

# Support Vector Machines (SVM)

>>> from sklearn.svm import SVC

>>> svc = SVC(kernel='linear’)


- 无监督学习

无监督学习可以使模型能够预测未来结果，而无需对标记数据进行训练，通常用于特征的提取。

# Principal Component Analysis (PCA)

>>> from sklearn.decomposition import PCA

>>> pca = PCA(n_components=0.95)

# K Means Clustering Algorithm

>>> from sklearn.cluster import KMeans

>>> k_means = KMeans(n_clusters=3, random_state=0)

- 模型数据拟合

我个人更愿意称这一步为模型数据装载，但是在 scikit-learn 里面，这一步是拟合，也是用于衡量机器学习模型对类似数据的概括程度与其训练结果的衡量标准。

# For Supervised learning

>>> lr.fit(X, y)

>>> knn.fit(X_train, y_train)

>>> svc.fit(X_train, y_train)

# For Unsupervised Learning

>>> k_means.fit(X_train)#Fits data into the model

>>> pca_model = pca.fit_transform(X_train)

- 预测

预测用来得到训练的结果，我们需要喂入test模型中的特征值。

# For Supervised learning

>>> y_pred=svc.predict(np.random((2,5)))#svc model

>>> y_pred=lr.predict(x_test)#lr model

>>> y_pred=knn.predict_proba(x_test)#knn model

# For Unsupervised Learning

>>> y_pred=k_means.predict(x_test)#predict labels in clustering algorithm

4. 估算模型效果

- 分类指标评价

sklearn.metrics模块实现了多个损失，分数和效用函数来衡量分类性能。

# Mean Absolute Error

>>> from sklearn.metrics import mean_absolute_error

>>> y_true = [3, -0.5, 2]

>>> mean_absolute_error(y_true, y_pred)

# Mean Squared Error

>>> from sklearn.metrics import mean_squared_error

>>> mean_squared_error(y_test, y_pred)

# R² Score

>>> from sklearn.metrics import r2_score

>>> r2_score(y_true, y_pred)

- 回归指标

sklearn.metrics模块实现了几个损失，分数和效用函数来衡量回归性能。

# Accuracy Score

>>> knn.score(X_test, y_test)

>>> from sklearn.metrics import accuracy_score

>>> accuracy_score(y_test, y_pred)

# Classification Report

>>> from sklearn.metrics import classification_report

>>> print(classification_report(y_test, y_pred))

# Confusion Matrix

>>> from sklearn.metrics import confusion_matrix

>>> print(confusion_matrix(y_test, y_pred))

- 聚类评估指标

# Adjusted Rand Index

>>> from sklearn.metrics import adjusted_rand_score

>>> adjusted_rand_score(y_true, y_pred)

# Homogeneity

>>> from sklearn.metrics import homogeneity_score

>>> homogeneity_score(y_true, y_pred)

# V-measure

>>> from sklearn.metrics import v_measure_score

>>> metrics.v_measure_score(y_true, y_pred)

- 交叉验证

>>> from sklearn.cross_validation import cross_val_score

>>> print(cross_val_score(knn, X_train, y_train, cv=4))

>>> print(cross_val_score(lr, X, y, cv=2))

5. 模型调参

- 网格搜索

GridSearchCV 实现了“fit”和“score”方法，它还可以实现“predict”， “predict_proba”， “decision_function”， “transform”和“inverse_transform”。

>>> from sklearn.grid_search import GridSearchCV

>>> params = {"n_neighbors": np.arange(1,3), "metric": ["euclidean", "cityblock"]}

>>> grid = GridSearchCV(estimator=knn, param_grid=params)

>>> grid.fit(X_train, y_train)

>>> print(grid.best_score_)

>>> print(grid.best_estimator_.n_neighbors)

- 随机网格搜索

RandomizedSearchCV对超参数执行随机搜索。与GridSearchCV相比，并未尝试所有参数值，而是从指定的分布中采样固定数量的参数设置。尝试的参数设置数由n_iter给出。

>>> from sklearn.grid_search import RandomizedSearchCV

>>> params = {"n_neighbours": range(1,5), "weights":["uniform", "distance"]}

>>>rserach = RandomizedSearchCV(estimator=knn,param_distribution=params, cv=4, n_iter=8, random_state=5)

>>> rsearch.fit(X_train, Y_train)

>>> print(rsearch.best_score)

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,793评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,567评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,342评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,825评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,814评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,680评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,033评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,687评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 42,175评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1赞 332
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,419评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,020评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2赞 351
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2赞 343