1. 机器学习中调参的基本思想

调参的目的就是为了提升模型的准确率。在机器学习中，我们用来衡量模型在未知数据上的准确率的指标，叫做泛化误差（Genelization error）。

泛化误差

当模型在未知数据（测试集或者袋外数据）上表现糟糕时，我们说模型的泛化程度不够，泛化误差大，模型的效果不好。看下面这张图，它准确地描绘了泛化误差与模型复杂度的关系，当模型太复杂，模型就会过拟合，泛化能力就不够，所以泛化误差大。当模型太简单，模型就会欠拟合，拟合能力就不够，所以误差也会大。只有当模型的复杂度刚刚好的才能够达到泛化误差最小的目标。

泛化误差和模型复杂度的关系

具体参数对模型复杂度的影响

2 随机森林再乳腺癌数据上的调参

1 导入库

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV #网格搜索
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

2 导入数据集，探索数据

data = load_breast_cancer()
data
data.data.shape
data.target
#可以看到，乳腺癌数据集有569条记录，30个特征，单看维度虽然不算太高,但是样本量非常少。过拟合的情况可能存在。

3 进行一次简单的建模，看看模型本身在数据集上的效果

rfc = RandomForestClassifier(n_estimators=100,random_state=90) #实例化
score_pre = cross_val_score(rfc,data.data,data.target,cv=10).mean() #交叉验证
score_pre
#0.9648809523809524
#这里可以看到，随机森林在乳腺癌数据上的表现本就还不错，在现实数据集上，基本上不可能什么都不调就看到96%以上的准确率

4 随机森林第一步，先调n_estimators

#先画n_estimators的学习曲线，第一次的学习曲线，可以先用来帮助我们划定范围.
scorel = []
for i in range(0,200,10):#我们取每十个数作为一个阶段，来观察n_estimators的变化如何引起模型整体准确率的变化
    rfc = RandomForestClassifier(n_estimators=i+1, #因为n_estimators最小是1，所以这里是i+1
                                n_jobs=-1,
                                random_state=90) #实例化
    score = cross_val_score(rfc,data.data,data.target,cv=10).mean() #交叉验证
    scorel.append(score) #将score保存到scorel
    
print(max(scorel),(scorel.index(max(scorel))*10)+1) #打印最大值和对应的索引
plt.figure(figsize=[20,5])
plt.plot(range(1,201,10),scorel)
plt.show()

#list.index([object])
#返回这个object在列表list中的索引

可见，n_estimators在71时，准确率最高

5. 在确定好的范围内，进一步细化学习曲线

scorel = []
for i in range(65,75): #所以在上面71的基础上，继续在附近寻找最佳的n_estimators
    rfc = RandomForestClassifier(n_estimators=i,
                                    n_jobs=-1,
                                    random_state=90)
    score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
    scorel.append(score)
print(max(scorel),([*range(65,75)][scorel.index(max(scorel))]))
plt.figure(figsize=[20,5])
plt.plot(range(65,75),scorel)
plt.show()

确定n_estimators=73时，准确率最高

6 为网格搜索做准备，书写网格搜索的参数

"""
有一些参数是没有参照的，很难说清一个范围，这种情况下我们使用学习曲线，看趋势
从曲线跑出的结果中选取一个更小的区间，再跑曲线

param_grid = {'n_estimators':np.arange(0, 200, 10)}
param_grid = {'max_depth':np.arange(1, 20, 1)}
param_grid = {'max_leaf_nodes':np.arange(25,50,1)}
对于大型数据集，可以尝试从1000来构建，先输入1000，每100个叶子一个区间，再逐渐缩小范围
有一些参数是可以找到一个范围的，或者说我们知道他们的取值和随着他们的取值，模型的整体准确率会如何变化，这
样的参数我们就可以直接跑网格搜索
param_grid = {'criterion':['gini', 'entropy']}
param_grid = {'min_samples_split':np.arange(2, 2+20, 1)}
param_grid = {'min_samples_leaf':np.arange(1, 1+10, 1)}
param_grid = {'max_features':np.arange(5,30,1)}
"""

7 首先调整max_depth

param_grid = {'max_depth':np.arange(1, 20, 1)}
# 一般根据数据的大小来进行一个试探，乳腺癌数据很小，所以可以采用1~10，或者1~20这样的试探
# 但对于像digit recognition那样的大型数据来说，我们应该尝试30~50层深度（或许还不足够更应该画出学习曲线，来观察深度对模型的影响）

rfc = RandomForestClassifier(n_estimators=73
                            ,random_state=90
                            ) #实例化
GS = GridSearchCV(rfc,param_grid,cv=10) #网格搜索GridSearchCV(实例化模型，网格搜索的参数，交叉验证次数)
GS.fit(data.data,data.target) #训练

GS.best_params_ #显示调整出来的最佳参数
GS.best_score_ #返回调整好的最佳参数对应的准确率

image.png

这里可以看到，模型准确率没有太大变化，可能已经接近模型的上限。max_depth，min_samples_leaf和min_samples_split是剪枝参数，是减小复杂度的参数。而max_features则是可以增加模型复杂度的参数，接下来主要是看下max_features的调参是怎么实现的。

8 调整max_features，默认值是sqrt(n_features)

param_grid = {'max_features':np.arange(5,30,1)} #这里就是将max_features往大的调整，从默认值向最大特征值30进行调整

"""
max_features是唯一一个即能够将模型往左（低方差高偏差）推，也能够将模型往右（高方差低偏差）推的参数。我们需要根据调参前，模型所在的位置（在泛化误差最低点的左边还是右边）来决定我们要将max_features往哪边调。现在模型位于图像左侧，我们需要的是更高的复杂度，因此我们应该把max_features往更大的方向调整，可用的特征越多，模型才会越复杂。max_features的默认值是sqrt(n_features)，因此我们使用这个值作为调参范围的最小值。
"""
rfc = RandomForestClassifier(n_estimators=73
                            ,random_state=90
                            )
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)

max_features

9 调整min_samples_leaf

param_grid={'min_samples_leaf':np.arange(1, 1+10, 1)}
#对于min_samples_split和min_samples_leaf,一般是从他们的最小值开始向上增加10或20
#面对高维度高样本量数据，如果不放心，也可以直接+50，对于大型数据，可能需要200~300的范围
#如果调整的时候发现准确率无论如何都上不来，那可以放心大胆调一个很大的数据，大力限制模型的复杂度
rfc = RandomForestClassifier(n_estimators=73
,random_state=90
)
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)

min_samples_leaf

10 调整min_samples_split

param_grid={'min_samples_split':np.arange(2, 2+20, 1)}
rfc = RandomForestClassifier(n_estimators=73
,random_state=90
)
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)

min_samples_split

11 调整criterion

param_grid = {'criterion':['gini', 'entropy']} #默认是gini
rfc = RandomForestClassifier(n_estimators=73,random_state=90)
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)

12 调整完毕，总结出模型的最佳参数

rfc = RandomForestClassifier(n_estimators=73,random_state=90)
score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
score
score - score_pre
#0.0017543859649122862

在整个调参过程之中，我们首先调整了n_estimators，然后调整max_depth，通过max_depth产生的结果，来判断模型位于复杂度-泛化误差图像的哪一边，从而选择我们应该调整的参数和调参的方向。

参考菜菜的sklearn