5.1基于规则的分类器
形式：规则-预测类 if-then(和决策树区别，决策树规则有总分，规则分类是平行的，但是它俩可以转换)
5.1.1原理：
1.互斥规则：一条记录不能出现多个预测类，避免多个类出现的方法有：有序规则(规则按优先降序排列)和无序规则(产生多个预测类，进行加权计票)
2.穷举规则：每天记录都应有预测类，不行就整一个其他类
5.1.2规则的排序方案：
1.基于规则排序:秩越前，越容易被解释，秩越低的规则越难被解释
2.基于类排序：属于同一类的规则一起出现
5.1.3如何建立基于规则的分类器：
1.直接方法（5.1.4） 2.间接方法（5.1.5）
5.1.4规则提取的直接方法
顺序覆盖:规则基于某种评估度量以贪心的方式增长。
1.learn-one-rule函数：原理－建立－评价
（1）原理：该函数的目标是提取一个分类规则，该规则涵盖训练集中大量正例，没有或仅覆盖少量反例。
（2）建立：它先产生一个初始规则r，并不断对该规则球精，直到满足某种终止条件为止。然后修剪该规则，改进泛化误差。
（3）规则增长策略：
－从特殊到一般：以一个正例为初始种子，删除合取向泛化规则，直到覆盖反例停止。
－从一般到特殊：以空集规则开始，不断加入合取向，反例减少，直到无反例被覆盖。
（4）规则评估：同时考虑准确率和覆盖率，可用：似然比统计量、Laplace度量、FOIL信息增益进行评价。
（5）规则剪枝：4.4
2.顺序覆盖基本原理
规则提取出来之后，顺序覆盖算法必须要删除该规则所覆盖的所有正例和反例。
3.RIPPER算法：合取向－规则－规则集
规则增长策略：从一般到特殊，使用信息增益来选择最佳的合取项，规则开始覆盖反例时停止加入合取项。利用准确率进行剪枝。
建立规则集：规则生成后，删除其所覆盖的正例和反例，若规则在确认集上的错误率低于0.5，则终止加入新规则。
5.1.5规则提取的间接方法：
从其他分类模型中提取规则（此节已决策树模型为例）
1.规则产生：每一条路径就是一个规则，简化规则，规则剪枝。
2.规则排序：将同一类标号的规则放在一个规则子集中，计算子集的长度，按照长度由小到大进行排序，构成规则集。子集长度＝L＋g＊L’
5.1.6基于规则的分类器的特征：
与决策树非常类似，能够产生易于解释的描述性模型。
