你闷声的日子，后面就是你爆发的日子。
前面讲过加入正则项的目标函数，那么如何求出超参数呢？
如何选择合适的超参数呢？
一般是通过交叉验证cross validation（CV）去选择合适的超参数。
把训练数据进一步分成训练数据和验证集数据，选择在验证数据里最好的组合。
1、首先确定训练集分成几份，比如五份，则叫做5-fold cross validation
2、根据给出的lamda的值在训练数据里计算模型，如何用验证数据计算准确性
3、如此循环计算完所有的准确性，如何求平均
4、找出准确性最大的lamda值，作为模型的lamda值。
有一点要记住：
绝对不能用测试数据来引导模型的训练，这样子叫做偷卷行为，会非常影响模型效果。
下面来看看交叉验证的代码实现
比如说进行一个情感分析实战，比较简单一点的，就只是使用tf-idf实现，因为这里关注的是交叉验证。
import pandas as pd
import numpy as np
# Reading the Dataset (ISEAR Dataset)
data = pd.read_csv('ISEAR.csv',header=None)
data.head()
out:
0 1 2
0 joy On days when I feel close to my partner and ot... NaN
1 fear Every time I imagine that someone I love or I ... NaN
2 anger When I had been obviously unjustly treated and... NaN
3 sadness When I think about the short time that we live... NaN
4 disgust At a gathering I found myself involuntarily si... NaN
#进行分出训练集和测试集，用的是sklearn的方法
from sklearn.model_selection import train_test_split
labels = data[0].values.tolist()
sents = data[1].values.tolist()
X_train, X_test, y_train, y_test = train_test_split(sents, labels, test_size=0.2, random_state=42)
#计算tf-idf向量
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
X_train = vectorizer.fit_transform(X_train)
X_test = vectorizer.transform(X_test)
使用逻辑回归建模
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV
#设置lamda的参数选择
parameters = {'C':[0.00001, 0.0001, 0.001, 0.005,0.01,0.05, 0.1, 0.5,1,2,5,10]}
#逻辑回归默认的是L2正则，不填就是说明是L2正则
lr = LogisticRegression()
lr.fit(X_train, y_train).score(X_test, y_test)
#cv=10，计算10 fold，十份
clf = GridSearchCV(lr, parameters, cv=10)
clf.fit(X_train, y_train)
#获取准确率，也就是分数，有没有都不影响参数获取
clf.score(X_test, y_test)
print (clf.best_params_)
#打印出混淆矩阵，看看预测的效果
from sklearn.metrics import confusion_matrix
confusion_matrix(y_test, clf.predict(X_test))
out:
array([[ 98, 33, 19, 26, 14, 20, 17],
[ 25, 124, 13, 16, 9, 3, 14],
[ 14, 7, 141, 9, 13, 11, 5],
[ 23, 12, 12, 107, 13, 16, 26],
[ 6, 7, 10, 8, 182, 11, 9],
[ 17, 18, 15, 8, 18, 122, 7],
[ 22, 27, 17, 35, 22, 6, 97]], dtype=int64)
下面给出网格搜索cv的参数
GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=1, iid=True, refit=True, cv=None, verbose=0, pre_dispatch='2*n_jobs', error_score='raise', return_train_score=True)
Parameters：
estimator：所使用的分类器，或者pipeline
param_grid：值为字典或者列表，即需要最优化的参数的取值
scoring：准确度评价标准，默认None,这时需要使用score函数；或者如scoring='roc_auc'，根据所选模型不同，评价准则不同。字符串（函数名），或是可调用对象，需要其函数签名形如：scorer(estimator, X, y)；如果是None，则使用estimator的误差估计函数。
n_jobs：并行数，int：个数,-1：跟CPU核数一致, 1:默认值。
pre_dispatch：指定总共分发的并行任务数。当n_jobs大于1时，数据将在每个运行点进行复制，这可能导致OOM，而设置pre_dispatch参数，则可以预先划分总共的job数量，使数据最多被复制pre_dispatch次
iid：默认True,为True时，默认为各个样本fold概率分布一致，误差估计为所有样本之和，而非各个fold的平均。
cv：交叉验证参数，默认None，使用三折交叉验证。指定fold数量，默认为3，也可以是yield训练/测试数据的生成器。
refit：默认为True,程序将会以交叉验证训练集得到的最佳参数，重新对所有可用的训练集与开发集进行，作为最终用于性能评估的最佳模型参数。即在搜索参数结束后，用最佳参数结果再次fit一遍全部数据集。
verbose：日志冗长度，int：冗长度，0：不输出训练过程，1：偶尔输出，>1：对每个子模型都输出。
Attributes：
best_estimator_：效果最好的分类器
best_score_：成员提供优化过程期间观察到的最好的评分
best_params_：描述了已取得最佳结果的参数的组合
best_index_：对应于最佳候选参数设置的索引(cv_results_数组的索引)。
Methods：
decision_function:使用找到的参数最好的分类器调用decision_function。
fit(X, y=None, groups=None, **fit_params):训练
get_params(deep=True):获取这个估计器的参数。
predict(X):用找到的最佳参数调用预估器。(直接预测每个样本属于哪一个类别)
predict_log_proda(X):用找到的最佳参数调用预估器。（得到每个测试集样本在每一个类别的得分取log情况）
predict_proba(X):用找到的最佳参数调用预估器。（得到每个测试集样本在每一个类别的得分情况）
score(X, y=None)：返回给定数据上的得分，如果预估器已经选出最优的分类器。
transform(X):调用最优分类器进行对X的转换。
