- 阅读《李航统计学习方法》中p55-p58页
总结决策树模型结构
理解决策树递归思想 - 阅读《李航统计学习》中p58-p63页
学习信息增益
学习信息增益率 - 阅读《李航统计学习》中p63-65页
学习ID3算法优缺点
学习C4.5算法优缺点
理解C4.5算法在ID3算法上有什么提升
学习C4.5算法在连续值上的处理
学习决策树如何生成 - 阅读《机器学习实战》中p37-p41页
划分数据集代码
选择最好的数据集划分方式代码
创建树的函数代码
决策树模型结构
决策树（Decision Tree）是一种基本的分类与回归方法，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是 if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。
决策树学习通常包含 3 个步骤：特征选择、决策树的生成、决策树的剪枝。
决策树递归思想
1.特征选择
1.1 信息增益
信息增益（Information Gain）表示得知特征 X 的信息而使得类 Y 的信息的不确定性减少的程度。
1.2 信息增益率
定义：特征 A 对训练数据集 D 的信息增益比 为其信息增益
与训练数据集 D 关于特征 A 的值的熵
之比，即：
2.决策树的生成
2.1 ID3 算法
ID3 算法的核心是在决策树各个节点上应用信息增益准则选择特征，递归地构建决策树。
2.2 C4.5 算法
C4.5 算法与 ID3 算法相似，C4.5 算法对 ID3 算法做了改进，C4.5 在生成的过程中，使用信息增益比来选择特征。
3.决策树的剪枝
决策树生成算法递归的产生决策树，直到不能继续下去为止。这样产生的决策树往往对训练数据的分类很准确，但是对未知的测试数据的分类却没有那么准确，即出现过拟合的现象。
在决策树的学习中，将已生成的树进行简化的过程称为 剪枝。
