调整算法参数
机器学习的模型都是参数化的，以便于其针对特定的问题进行调整。一个模型有很多参数，寻找这些参数的最佳组合其实是一个搜索问题。本文中，你会学习到如何使用scikit-learn库来调整机器学习算法的参数。使用scikit-learn API版本为0.18。
调整参数是呈现机器学习结果前的最后一步。有时这一过程也叫超参最优化,其中算法的参数叫做超参，而具体机器学习模型的系数叫做参数。最优化的意思暗示这是一个搜索问题。既然作为一个搜索问题，你就可以使用不同的搜索策略，为一个已知问题，找到一个好而且稳定的参数或者参数集合。
两个简单易行的搜索策略是网格搜索和随机搜索。scikit-learn提供了这两种方法做参数调整。
1. 网格搜索调整参数
网格搜索是一种参数调整方法，对网格中的所有算法参数的组合建立和评价模型。以下代码使用内建的diabetes数据集，对Ridge回归算法的alpha参数的不同值进行模型评价。这是一个一维的网格搜索问题。
# Grid Search for Algorithm Tuning
import numpy as np
from sklearn import datasets
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV
# load the diabetes datasets
dataset = datasets.load_diabetes()
# prepare a range of alpha values to test
alphas = np.array([1,0.1,0.01,0.001,0.0001,0])
# create and fit a ridge regression model, testing each alpha
model = Ridge()
grid = GridSearchCV(estimator=model, param_grid=dict(alpha=alphas))
grid.fit(dataset.data, dataset.target)
print(grid)
# summarize the results of the grid search
print(grid.best_score_)
print(grid.best_estimator_.alpha)
输出结果：
GridSearchCV(cv=None, error_score='raise',
estimator=Ridge(alpha=1.0, copy_X=True, fit_intercept=True, max_iter=None,
normalize=False, random_state=None, solver='auto', tol=0.001),
fit_params={}, iid=True, n_jobs=1,
param_grid={'alpha': array([ 1.00000e+00, 1.00000e-01, 1.00000e-02, 1.00000e-03,
1.00000e-04, 0.00000e+00])},
pre_dispatch='2*n_jobs', refit=True, return_train_score=True,
scoring=None, verbose=0)
0.488790204461
0.001
更多信息，请参见API中的GridSearchCV和用户手册中的Exhaustive Grid Search
2. 随机搜索调整参数
随机搜索也是一种调参方法，在一定迭代次数下，从一个随机分布中抽样选取算法参数。根据每一个参数组合进行模型构建和评估。以下代码评估0到1间的不同的alpha值，同样使用的是标准diabetes 数据集。
# Randomized Search for Algorithm Tuning
import numpy as np
from scipy.stats import uniform as sp_rand
from sklearn import datasets
from sklearn.linear_model import Ridge
from sklearn.model_selection import RandomizedSearchCV
# load the diabetes datasets
dataset = datasets.load_diabetes()
# prepare a uniform distribution to sample for the alpha parameter
param_grid = {'alpha': sp_rand()}
# create and fit a ridge regression model, testing random alpha values
model = Ridge()
rsearch = RandomizedSearchCV(estimator=model, param_distributions=param_grid, n_iter=100)
rsearch.fit(dataset.data, dataset.target)
print(rsearch)
# summarize the results of the random parameter search
print(rsearch.best_score_)
print(rsearch.best_estimator_.alpha)
输出结果：
RandomizedSearchCV(cv=None, error_score='raise',
estimator=Ridge(alpha=1.0, copy_X=True, fit_intercept=True, max_iter=None,
normalize=False, random_state=None, solver='auto', tol=0.001),
fit_params={}, iid=True, n_iter=100, n_jobs=1,
param_distributions={'alpha': <scipy.stats._distn_infrastructure.rv_frozen object at 0x105b8da90>},
pre_dispatch='2*n_jobs', random_state=None, refit=True,
return_train_score=True, scoring=None, verbose=0)
0.489160157304
0.0534269728673
更多信息请参见API中RandomizedSearchCV 的和用户手册中的Randomized Parameter Optimization
知识点：
- sklearn.model_selection.GridSearchCV
- grid.fit, best_score_, best_estimator_.alpha
- sklearn.model_selection.RandomizedSearchCV
- rsearch.fit, best_score_, best_estimator_.alpha
喜欢本文的话，就点个喜欢吧！欢迎转载！
