Evaluating Classification and Predictive Performance
评估识别与预测的效果
经典（简单原始）的分类识别器（classifier）评估方法：
对判断数据的分类
判断数据的分类：
1)TP（0，0）(True Positive):分类器判断为Positive且判断正确
2)TN（0，1）(True Negative):分类器判断为Negative且判断正确
3)FP（1，0）(False Positive):分类器判断为Positive,判断错误
4)FN（1，1）(Flase Negative):分类器判断为Negative,判断错误
最简单的错误率评估方法：
简单方法
G-mean准确率评估：判断正确状态的数量/所有该状态的数量
G-mean
ACC+
ACC-
F-measure准确率评估（用于搜索引擎）：判断正确状态的数量/所有判断为该状态的数量
F-measure
Precision
Recall
准确率评估参数
1）Sensitivity: % (or proportion) of “C1” class correctly classified
2）Specify: % of “C0” class correctly classified
3)TPR(True Positive Rate)=TP/(TP+FN)
4)TNR(True Negative Rate)=TN/(TN+FP)
ROC曲线
ROC曲线
Cutoff for Classification
一般，数据挖掘算法的验证调教分为两步：
- Compute probability of belonging to class “1”
- Compare to cutoff value, and classify accordingly
（简单说就是设定一个分界值参数（根据具体的算法）将数据分为两块，调整分界值，寻找可以最佳的把所需信息提取识别出来的分界值参数）
Lift&Decile Charts（等分图）：
作用1：直观看到算法为classification带来的提升比例
提升比例
作用2：找到该算法对于什么规模的数据有最大效果：
规模匹配
判断值（Positive&Negative）的不同对于主题的加权影响
有些情况下，判断的结果是有不同权值的（如癌症诊断，错误判断为没有病，则付出的代价很大）
对训练集的超采样方法
数据分为response(数据量较少)与non-response(数据量较多)
1）将respones与non-response分离为两个集合（strata）
2）随机在两个集合取数据作为训练集(training set),一般取response中的一半数据，取non-response中的等量数据
3）剩余的response放到validation集合中
4）non-response按照原来的与response的比例随机取值放到validation set
5）之后生成test set，即在validation set中随机取样
