线性代数中，我们所说的矩阵的特征分解，即为：
然而，要满足特征分解，矩阵必须为方阵，否则无法直接求解特征值。
对于一般矩阵，我们如果也要对其进行分解成3个矩阵乘积，其中
为
的矩阵，
为
的方阵，
为
的矩阵，
为
的矩阵。
矩阵如何分解呢？首先，它应该满足一个条件，它是方的！那么如何把矩阵变成方针呢？
一个矩阵乘以它的转置即为方阵。
那么接下来的分解就是对与构造方阵的分解。还是特征分解的老步骤。这里，先提一下，是半正定矩阵：
。
由于满足矩阵交换乘积，有
，且
。
我们可以设的特征值为
，设
的特征值为
，且不为0的特征值个数相等。因此，有
矩阵半正定，特征值非负，可以开根号。特征值从右上角开始写，直到写到最后一个非零特征值。其余元素均为0。
刚才提及的是矩阵的奇异值分解的方法，现在我们初步看一下这个方法在降维中的应用。
令，
为矩阵对角线元素。
奇异值分解后的矩阵可以表示为：
令特征值从大到小排列，意味着前面的较大的特征值保留了矩阵较为重要的特征，后面的较小的特征值保留了矩阵比较细节的特征。以图像的压缩为例子：
压缩钱图像矩阵为，意味着参数有
个，只取前
个特征值，参数有
。误差为：
。
也可以用作在神经网络的加速运算，之后提及。
下面是图片压缩的例子（转自知乎@DeepWeaver）
保留了前10个特征值（压缩率122）
保留前30个特征值（压缩率31）
保留前50个特征值（压缩率17）
保留97个特征值，几乎为原图的一半
