2.7 为什么在分类问题中用交叉熵代替二次代价函数?
交叉熵损失函数的学习速度更快,但是对于回归问题,它的准确性又不如MSE损失函数。
2.8 线性判别分析的思想是什么?
线性判别分析(Linear Discriminant Analysis,LDA)是一种降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同,LDA是一种监督学习的降维技术,数据集的每个样本有类别输出。
LDA分类思想简单总结如下:
- 多维空间中,数据处理分类问题较为复杂,LDA算法将多维空间中的数据投影到一条直线上,将d维数据转化成1维数据进行处理。
- 对于训练数据,设法将多维数据投影到一条直线上,同类数据的投影点尽可能接近,异类数据点尽可能远离。
- 对数据进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定样本的类别。
如果用一句话概括LDA思想,即“投影后类内方差最小,类间方差最大”。
图1左图为最大化平均点距离最远的投影方式。最大化类间距离;
图1右图为最小化类内距离的方式。