一、大致流程
- PCA的应用范围：数据压缩或者数据降维减少内存或者硬盘的使用。加快机器学习的速度。也可以降维到2D或者3D从而实现数据可视化。
- 样本x_i属性n,样本个数m,组成样本矩阵X为m*n
- 首先对数据进行去均值、归一化操作，对训练样本，然后测试样本根据归一化得到的参数进行归一化，而不能和训练样本一起进行归一化。在降维的过程中也不能包括测试样本，若降维矩阵是包含训练集和测试集以及CV样本，在进行测试的时候测试样本会存在很大的优越性。白化，就是对降维后的数据的每个特征进行归一化，让方差都为1.对于PCA降维本身来说，一般不需要白化。如果你PCA降维后有后续的数据处理动作，可以考虑白化。
- 归一化过程：计算所有样本每个属性的均值，这样会得到一个均值样本，所有样本减去均值样本，得到每一个属性均值为0，然后计算每个属性标准差（方差的开方），得到和一个样本大小相等的向量，将样本除去得到的属性标准差向量即完成归一化。
- 计算协方差矩阵，计算任意两个属性之间的相关性，cov(A,B)=E((A-E(A)(B-E(B))),因为之前已经进行过归一化，每个属性的均值为0，故E(A)=E(B)=0，cov(A,B)=E(AB)=1/m(sum(Ai*Bi))，其中m为每个属性的个数，即样本数量。或者直接计算X_norm'*X_norm，得到的协方差矩阵为n*n。只与属性个数有关。
- 使用奇异值分解 SVD或者其他的方法分解出特征值和特征向量矩阵，特征值矩阵为n*n的对角矩阵，特征向量矩阵为n*n。特征矩阵为正交矩阵，即A.T=inv(A)
- 取前k个特征值以及对应的特征向量组成新的矩阵eigVect大小：n*k，降维后的数据就是lowx_i=x_i_norm*eigVect，每个样本大小由1*n降维到1*k。
- 还原数据：x_i=lowx_i*eigVect.T+均值样本
二、图像处理
图片大小为64*64，20张，存储在一个矩阵中，每一行为一个图像4096，共20行，即20*4096
方案一：
按照正常流程处理，得到协方差矩阵为4096*4096，矩阵分解后得到的特征值矩阵eig：4096*4096的对角矩阵，特征向量也是4096*4096，取前k个特征值，其中k一定不大于样本个数m，原因在方法二中讲解。eigVect大小为4096*k，此时特征向量可以转化成k个特征脸。之后可以每个样本乘上k维特征向量得到降维后矩阵，同样可以使用降维后结果乘上k维特征向量的转置得到还原矩阵，结果可能稍有偏差，因为舍弃了很多特征，只留下前k个特征的信息。但偏差不大。
方案二
由于得到的协方差过大，可能造成内存溢出。于是考虑方法一中协方差矩阵是X_norm'*X_norm，对称矩阵4096*4096，故X_norm*X_norm’计算得到的协方差矩阵与其有相同的特征值，得到的为m*m的方阵，所以特征值个数一定小于等于m，即方法一中k<=m，求解到特征值和特征向量，取前k个的特征矩阵eigVect为m*k，F=X_norm'*eigVect（n*m * m*k=n*k）可以计算出得到k个特征脸，对测试样本进行降维，利用训练样本的均值和标准差归一化，之后y_norm*F即可得到将为后向量。
