sklearn库的优势：相对比较成熟，代码简单封装好。可以直接实现算法,进行调参.
sklearn库的通用流程：

• 通过实例评估模型对象
• 通过训练接口训练模型
• 通过模型接口提取信息

决策树

sklearn中的决策树的类在tree这个模块之下.

Decision Tree Classifier类

class sklearn.tree.DecisionTreeClassifier(criterion='gini', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort='deprecated', ccp_alpha=0.0)

一般参量

criterion{"gini", "entropy"}, default="gini"

衡量分支质量(基尼/信息熵增益)

random_state:int or RandomState, default=None

可以设定成随机状态的种子或者随机数生成器

splitter{"best", "random"}, default="best"

选取策略:(最佳分支/最佳随机分支)

• best:优先选择更重要的特征
• random:分支的时候更随机,更深,适度降低拟合以防止过拟合

sklearn.tree.DecisionTreeClassifier建树的机理是:既然不能够保证根结点的划分最好,整棵树的划分就最好(不具有贪心算法/不具有局部最优推出总体最优的性质).那么,每次都选取若干个特征,取最好生成,然后对一个数据集重复很多很多遍,在生成树中取最好的一棵返回.这也是为什么多跑几遍score也会不一样

• 所以说指定seed也可以得到相同的数.
• 注意到这个随机算法对不随机在高维上优势更明显.注意到低维度的数据基本上随机性不会显现.

剪枝参量

max_depth:int, default=None

最大深度(默认为不设最大深度)

max_depth是最常被用的剪枝参量之一,esp在高维度低样本量的时候

min_samples_split:int or float, default=2

一个非叶子节点需要的最小样本数量

• 整数:样本的个数
• 浮点:占输入模型数据的比重

min_samples_leaf:int or float, default=1

一个叶子节点需要的最小样本数量

• 整数:样本的个数
• 浮点:占输入模型数据的比重

以上几个参数经常在回归树中搭配使用

max_features:int, float or {“auto”, “sqrt”, “log2”}, default=None

最佳分支时考虑的特征个数
计参数为mf,总特征为nf个

• 整数:分支时考虑 mf 个特征
• 浮点:考虑为比例,nf*mf个
• auto或者sqrt 个
• log2 个
• none nf个

max_leaf_nodes:int, default=None

最大叶节点数

min_impurity_decrease:float, default=0.0

只考虑生成节点带来的混乱度下降的值大于参数的结点

min_impurity_split:float, default=1e-7

结点的最小乱度

ccp_alpha:non-negative float, default=0.0

在树剪枝过程中minimize cost function中的参数

权重参量

class_weight:dict, list of dict or “balanced”, default=None

字典型给出各特征权重分配方式
对于多输出（包括多标签），应该在其自己的dict中为每个列的每个类定义权重,在输出时,y的每列权重会相乘。

min_weight_fraction_leaf:float, default=0.0

叶子节点要存在需要的权重占输入模型数据总权重中的比例

重要属性和接口

暂不完全收录,以后要用可以跳转官网可以查询

apply(self, X[, check_input])

apply(Xtrain,Ytrain)返回训练样本所在的叶子结点的索引

predict(self, X[, check_input])

pridict(Xtrain,Ytrain)用来输出对Xtrain跑这个算法的预测值也就是分类/回归结果

fit(self, X, y[, sample_weight, …])

fit(Xtrain,Ytrain)用来训练算法

score(self, X, y[, sample_weight])

score(Xtrain,Ytrain)表示算法在训练集的accuracy
注意以上四个接口一定要传入(,)

红酒数据集

机器学习最经典的数据集之一,通过红酒的若干个特征对其进行分类.本节除了对这个特定的数据集进行介绍,也会介绍一些sklearn里面自带的数据集的使用

引入头文件

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

数据集的属性

wine = load_wine()#本质上是个字典类型
wine.data#取出数据$X$作为运算的核心
wine.target#取出属性$Y$作为预测的目标
wine.data.shape#数据结构
wine.feature_names#特征的名字(表头的东西)
wine.target_names#属性的名字
wine#这行代码可以查看这个数据集的全貌

可以康到,这个数据集有178个数据,数据有13个特征,被分为{0,1,2}三类.

我们可以用pandas库里的函数DataFrame将参数格式化,然后把两列用concat揉到一起并且对其进行可视化

import pandas as pd
pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)

划分train set 和 test set

Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.target,test_size=0.3)#随即划分训练集和测试集

建模

• 对生成器进行实例化
• 用训练集进行训练
• 用测试集进行测试
  对应三行代码

clf = tree.DecisionTreeClassifier(criterion='entropy')
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest,Ytest)

score给出的是其准确率

画出决策树

主要使用graphviz库

feature_name = wine.feature_names

import graphviz 
dot_data = tree.export_graphviz
(clf
,feature_names = feature_name
,class_names = ["0","1","2"]
,filled = True #填充颜色
,rounded = True 
)

graph = graphviz.Source(dot_data)
graph

特征的重要性

clf.feature_importances_
[*zip(feature_name,clf.feature_importances_)]#特征的名字和重要性连起来的元组

拟合程度

score_train = clf.score(Xtrain,Ytrain)
score_train

获得其对训练集的accuracy

特征的重要性

clf.feature_importances_
[*zip(feature_name,clf.feature_importances_)]#特征的名字和重要性连起来的元组

超参数学习曲线

对于一个训练好的决策树clf,超参数的学习曲线,就是一条以超参数取值为横轴,模型的度量指标(这里是为纵坐标的线,常用来衡量不同朝参属下模型的表现.
比如说我们测一下max_depth对score的影响

import matplotlib.pyplot as plt

test=[]
for i in range(10):
    clf = tree.DecisionTreeClassifier(criterion='entropy',random_state=30,splitter='random',max_depth = i+1)
    clf = clf.fit(Xtrain,Ytrain)
    score = clf.score(Xtest,Ytest)
    test.append(score)
plt.plot(range(1,11),test,color="red",label="max_depth")
plt.legend()
plt.show()

参考资料：
scikit-learn官网
相关资料如有侵权请联系删除