一、奇异值分解的定义与性质
1、定义与定理
奇异值分解
image.png
注意：奇异值分解不要求矩阵A是方阵，事实上矩阵的奇异值分解可以看作是方阵的对角化的推广
奇异值分解基本定理
image.png
2、紧奇异值分解与截断奇异值分解
矩阵的完全奇异值分解
称矩阵的完全奇异值分解。
实际常用的是奇异值分解的紧凑形式和截断形式
- 紧奇异值分解是与原始矩阵等秩的奇异值分解
- 截断奇异值分解是比原始矩阵低秩的奇异值分解。
（1）紧奇异值分解
image.png
（2）截断奇异值分解
在矩阵的奇异值分解中，只取最大的k个奇异值（k<r ,r为矩阵的秩）对应的部分，就得到矩阵的截断奇异值分解。
实际应用中提到矩阵的奇异值分解时，通常指截断奇异值分解。
image.png
（3）几何解释
image.png
线性变换可以分解为三个简单的变换：
- 一个坐标系的旋转或反射变换
- 一个坐标轴的缩放变换
- 另一个坐标系的旋转或反射变换
奇异值定理保证这种分解一定存在。这就是奇异值分解的几何解释。
image.png
image.png
4、主要性质
image.png
标准性质
image.png
二、奇异值分解的计算
image.png
矩阵奇异值分解的计算过程
image.png
三、奇异值分解与矩阵近似
1、弗罗贝尼乌斯范数
定义
image.png
引理
image.png
2、矩阵的最优近似
奇异值分解是在平方损失（弗罗贝尼乌斯范数）意义下对矩阵的最优近似，即数据压缩。
定理
image.png
image.png
紧奇异值分解是在弗罗贝尼乌斯范数意义下的无损压缩。
截断奇异值分解是有损压缩
截断奇异值分解得到 的矩阵的秩为k,通常远小于原始矩阵的秩r,所以是由低秩矩阵实现了对原始矩阵的压缩。
3、矩阵的外积展开式
矩阵A的奇异值分解也可以由外积形式表示
image.png
