奇异值分解(singular value decomposition, SVD)是将矩阵分解为奇异值和奇异向量的一种矩阵分解方式。
什么是正交、标准正交和正交矩阵
如果向量和满足, 那么向量和互相正交。显然,零向量和任意向量之间相互正交。若两个向量都有非零范数,那么这两个向量的夹角是。若相互正交的向量范数都为1,那么称它们是标准正交。正交矩阵的行向量和列向量分别标准正交。
矩阵的特征值和特征向量
设为阶方阵,且存在实数和维非零向量,使得, 那么为方针的特征值,向量为的特征向量。
可以写成 , 有非零解的充要条件是系数行列式
定义
假设是一个的矩阵, 是一个的矩阵, 是一个的矩阵, 是一个的矩阵。 那么, 可分解成 , 其中和都定义成正交矩阵, 定义为对角矩阵。对角矩阵对角线上的元素称为的奇异值。矩阵的列向量称为的左奇异向量, 矩阵的列向量称为的右奇异向量。
- 的左奇异向量是的特征向量, 的右奇异向量是的特征向量
- 的非零奇异值是特征值的平方根, 同时也是特征值的平方根
用途
最有用的性质是可以将求逆操作扩展到非方矩阵上。