2、基于决策树的分类预测

1、决策树

决策树是用于分类和预测的主要技术之一，决策树学习是以实例为基础的归纳学习算法，它着眼于从一组无次序、无规则的实例中推理出以决策树表示的分类规则。

决策树(Decision Tree)是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。数据挖掘中决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。

决策树的主要优点：

1、具有很好的解释性，模型可以生成可以理解的规则。

2、可以发现特征的重要程度。

3、模型的计算复杂度较低。

决策树的主要缺点：

1、模型容易过拟合，需要采用减枝技术处理。

2、不能很好利用连续型特征。

3、预测能力有限，无法达到其他强监督模型效果。

4、方差较高，数据分布的轻微改变很容易造成树结构完全不同。

2、信息熵、条件熵和信息增益

2.1 信息熵

信息熵也称为香农熵，是随机变量的期望。度量信息的不确定程度。信息的熵越大，信息就越不容易搞清楚。处理信息就是为了把信息搞清楚，就是熵减少的过程。决定信息的不确定性或者说复杂程度主要因素是概率。

我们要获得随机变量 D 的取值结果至少要进行1次试验，试验次数与随机变量 D 可能的取值数量(2种)的对数函数Log有联系。Log2=1(以2为底)。因此熵的计算公式是：

2.2条件熵

条件熵是通过获得更多的信息来消除一元模型中的不确定性。也就是通过二元或多元模型来降低一元模型的熵。我们知道的信息越多，信息的不确定性越小。例如，只使用一元模型时我们无法根据用户历史数据中的购买频率来判断这个用户本次是否也会购买。因为不确定性太大。在加入了促销活动，商品价格等信息后，在二元模型中我们可以发现用户购买与促销活动，或者商品价格变化之间的联系。并通过购买与促销活动一起出现的概率，和不同促销活动时购买出现的概率来降低不确定性。以下公式为属性A的信息条件熵。

用属性A出现的概率乘以属性A确定的情况下，相应分类的信息熵。

2.3信息增益

信息增益用来衡量信息之间相关性的指标。用于度量属性A降低样本集合X熵的贡献大小。信息增益越大，不确定性越小，越适于对X分类。具体的计算方法就熵与条件熵之间的差。公式如下：

3、ID3算法原理

ID3算法（Iterative Dichotomiser 3 迭代二叉树3代）是一个由Ross Quinlan发明的用于决策树的算法。这个算法便是建立在上述所介绍的奥卡姆剃刀的基础上：越是小型的决策树越优于大的决策树（be simple 简单理论）。尽管如此，该算法也不是总是生成最小的树形结构，而是一个启发式算法。

OK，从信息论知识中我们知道，期望信息越小，信息增益越大，从而纯度越高。ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益(很快，由下文你就会知道信息增益又是怎么一回事)最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策树空间。

算法流程：

对当前样本集合计算所有属性的信息增益；

选择信息增益最大的属性作为测试属性，把测试属性取值相同的样本划为同一个子样本集；

若子样本集的类别属性只含有单个属性，则分支为叶子节点，判断其属性之并标上相应的符号，然后返回调用处；否则对子样本集递归调用本算法。

缺点

由于ID3决策树算法采用信息增益作为选择测试属性的标准，会偏向于选择取值较多的，即所谓的高度分支属性，而这类属性并不一定是最优属性。并且其只能处理离散属性，对于连续类型属性需要对其进行离散化。为了解决倾向于选择高度分支属性的问题，采用信息增益率作为选择测试属性的标准，这样便有了C4.5决策树算法。常用的还CART,SLIQ,SPRINT,PUBLIC等。

4、python实现决策树模型的构建

重点代码：

dtmodel = DecisionTreeClassifier(max_leaf_nodes=None) #最大叶子节点数

dtModel.fit(featureData, targetData) #特征数据、目标数据

#对离散型变量进行虚拟化

#设置特征变量、目标变量

#构建决策树模型

fromsklearn.treeimport DecisionTreeClassifier

dtmodel = DecisionTreeClassifier(max_leaf_nodes=8)#最大叶数为8

#模型验证

from sklearn.model_selection import cross_val_score

cross_val_score(dtmodel,fdata,tdata,cv=10) #交叉验证10次

#模型训练

dtmodel.fit(fdata,tdata)

#绘制决策树模型（需要下载安装graphviz软件并安装pydot包，可参考http://wenda.chinahadoop.cn/question/5518）

#绘制决策树图形fromsklearn.treeimport export_graphviz

with open(r'D:\...\data.dot','w') as f:

f = export_graphviz(dtmodel, out_file=f)import pydotfromsklearn.externals.siximport StringIO

dot_data = StringIO()

export_graphviz(

dtmodel, #模型名称

out_file=dot_data, #图形数据的输出路径

class_names=['A','B'], #目标属性的名称

feature_names=['a','b','c','d'], #特征属性的名称

filled=True, #是否使用颜色填充

rounded=True, #边框是否圆角

special_characters=True) #是否有特殊字符（含中文就算）

graph = pydot.graph_from_dot_data(dot_data.getvalue())

graph.get_node('node')[0].set_fontname('Microsoft YaHei')

graph.write_png(r'D:\...\决策树.png')

#最终在目标路径下得到决策树的图形

Part1 Demo实践

Step1:库函数导入

Step2:模型训练

Step3:数据和模型可视化

Step4:模型预测

2.1Demo实践

Step1: 库函数导入

## 基础函数库

import numpy as np

## 导入画图库

import matplotlib.pyplot as plt

import seaborn as sns

## 导入决策树模型函数

from sklearn.tree import DecisionTreeClassifier

from sklearn import tree

Step2: 训练模型

##Demo演示LogisticRegression分类

## 构造数据集

x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])

y_label = np.array([0, 1, 0, 1, 0, 1])

## 调用决策树模型

tree_clf = DecisionTreeClassifier()

## 用决策树模型拟合构造的数据集

tree_clf = tree_clf.fit(x_fearures, y_label)

Step3: 数据和模型可视化（需要用到graphviz可视化库）

## 可视化构造的数据样本点plt.figure()

plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')

plt.title('Dataset')

plt.show()

## 代码生成的可视化结果会截图展示实际效果

!pip install graphviz

import graphviz

dot_data = tree.export_graphviz(tree_clf, out_file=None)

graph = graphviz.Source(dot_data)

graph.render("pengunis")

## 'pengunis.pdf' 目前环境问题，还不能展示

Step4:模型预测

## 创建新样本

x_fearures_new1 = np.array([[0, -1]])

x_fearures_new2 = np.array([[2, 1]])

## 在训练集和测试集上分布利用训练好的模型进行预测

y_label_new1_predict = tree_clf.predict(x_fearures_new1)

y_label_new2_predict = tree_clf.predict(x_fearures_new2)

print('The New point 1 predict class:\n',y_label_new1_predict)

print('The New point 2 predict class:\n',y_label_new2_predict)

# The New point 1 predict class:

# [1]

# The New point 2 predict class:

# [0]

# -*- coding: utf-8 -*-

"""

#Step1: 库函数导入