机器学习常用的评估方法

混淆矩阵

参考链接：https://zhuanlan.zhihu.com/p/74493056

其中：
True Positive（TP）：预测为正例，实际为正例，即算法预测正确

False Positive（FP）：预测为正例，实际为负例，即算法预测错误

True Negative（TN）：预测为负例，实际为负例，即算法预测正确

False Negative（FN）：预测为负例，实际为正例，即算法预测错误

评估方法

1）Accuracy = (TP + TN)/(TP + TN + FP + FN) >>> 正确预测分类的样本

2）Precision = TP/(TP + FP) >>> 正确预测为正的样本/预测为正的样本

3）真阳率 = Recall = TP/(TP + FN)

>>> 正确预测为正的样本/实际为正的样本; 在所有实际为阳性的样本中，被正确地判断为阳性的比率

4）假阳率 = FP/(TN + FP) >>> 在所有实际为阴性的样本中，被错误地判断为阳性的比率

5）F1-score = 2 * (Precision * Recall)/ (Precision + Recall) >>> 准确率和召回率的调和平均值

6）ROC (Receiver Operating Characteristic): 其以FPR假阳率为X轴坐标，以TPR真阳率为Y轴坐标，曲线越靠近左上角则说明模型算法性能越好，左上角（0,1）为最理想的情况说明模型性能非常完美，而其对角线对应于“随机猜测”模型的性能。在图像分类图像识别等任务里，模型算法的输出通常为一个预测概率，而我们通常也会设定一个阈值，超过这个阈值则我们就判断为其中的一类，反之预测为另一类。于是，不同的阈值就对应了不同的真阳率和假阳率，从而形成了真阳率和假阳率序列，它们就可以在直角坐标系上通过描点成为光滑曲线，这个曲线就是 ROC 曲线.

7）AUC (Area Under the Curve): ROC曲线下的面积，因为ROC“随机猜测”模型通常对应于其对角线，因而通常AUC的值范围为0.5~1，其值越大说明模型算法的性能越好，AUC为0.5时模型算法为“随机猜测”，其值为1时说明模型算法达到理想状态。

8) MAE (Mean Absolute Error): 平均绝对误差，其能更好地反映预测值与真实值误差的实际情况，其计算公式如下：

9) RMSE (Root Mean Square Error): 均方根误差(二次范式)，用于衡量观测值与真实值之间的偏差，其对一组预测中的特大或特小误差反映比较敏感，常用来作为机器学习模型预测结果衡量的标准，其计算公式如下：

K范式 $l_{k}$ ：

对于n维向量v有 $||v||_{k}=(|v_0|^k+|v_1|^k+|v_2|^k+...+|v_n|^k)^\frac{1}{k}$

其中， $l_{0}$ = 向量v元素个数

范式越高，越重视越大的值，越忽视较小的值。因此，RMSE对于离群值( $h(x_{i})-y_{i}$ 越大)更敏感。

机器学习常用的评估方法

混淆矩阵

评估方法

K范式：

K范式 $l_{k}$ ：