转自:(数学概念)矩阵的逆、伪逆、左右逆,最小二乘,投影矩阵 - AndyJee - 博客园
主要内容:
矩阵的逆、伪逆、左右逆
矩阵的左逆与最小二乘
左右逆与投影矩阵
一、矩阵的逆、伪逆、左右逆
1、矩阵的逆
定义:
设A是数域上的一个n阶方阵,若在相同数域上存在另一个n阶矩阵B,使得: AB=BA=I。 则我们称B是A的逆矩阵,而A则被称为可逆矩阵。
可逆条件:
A是可逆矩阵的充分必要条件是,即可逆矩阵就是非奇异矩阵。(当
时,A称为奇异矩阵)
性质:
矩阵A可逆的充要条件是A的行列式不等于0。
可逆矩阵一定是方阵。
如果矩阵A是可逆的,A的逆矩阵是唯一的。
可逆矩阵也被称为非奇异矩阵、满秩矩阵。
两个可逆矩阵的乘积依然可逆。
可逆矩阵的转置矩阵也可逆。
矩阵可逆当且仅当它是满秩矩阵。
求逆方法:
伴随矩阵法、初等变换法
2、矩阵的伪逆和左右逆
伪逆矩阵:
伪逆矩阵是逆矩阵的广义形式。由于奇异矩阵或非方阵的矩阵不存在逆矩阵,但在matlab里可以用函数pinv(A)求其伪逆矩阵。基本语法为X=pinv(A),X=pinv(A,tol),其中tol为误差,pinv为pseudo-inverse的缩写:max(size(A))*norm(A)*eps。函数返回一个与A的转置矩阵A' 同型的矩阵X,并且满足:AXA=A,XAX=X.此时,称矩阵X为矩阵A的伪逆,也称为广义逆矩阵。pinv(A)具有inv(A)的部分特性,但不与inv(A)完全等同。 如果A为非奇异方阵,pinv(A)=inv(A),但却会耗费大量的计算时间,相比较而言,inv(A)花费更少的时间。
伪逆矩阵求法:
A 为m*n矩阵,r代表矩阵的秩:
若矩阵A是方阵,且|A|!=0,则存在AA-1=E;
若A不是方阵,或者|A|=0,那么只能求A的伪逆,所谓伪逆是通过SVD计算出来的;
pinv(A)表示A是伪逆:
如果A列满秩,列向量线性无关,r=n,Ax=b为超定方程组,存在0个或1个解,那么
,因为
,因此也称为左逆;
如果A行满秩,行向量线性无关,Ax=b为欠定方程组,存在0个或无穷个解,那么
,因为
,因此也称为右逆;
如果秩亏损,那么只好先做奇异值分解
,U,V是正交阵,D是对角阵;然后取对角阵S,如果D(i,i)=0,那么S(i,i)=0,如果D(i,i)<>0,那么S(i,i)=1/D(i,i)。于是
;
二、矩阵的左逆与最小二乘
关于最小二乘可以参考:最小二乘的几何意义及投影矩阵http://www.cnblogs.com/AndyJee/p/5053354.html
其实,最小二乘就是一个超定方程组的求解问题,根据上述的了解,超定方程组的求解方法之一就是通过求伪逆的形式,具体来说就是求左逆。即:
最小二乘也可以从几何的角度来考虑,那就是下面要说的投影矩阵。
三、左右逆与投影矩阵
左逆中,
,如果将左逆写在A右边将得不到单位矩阵了,那么
是什么?是在A矩阵列空间(A矩阵各列张成的子空间)投影的投影矩阵,它会尽量靠近单位矩阵,一个投影矩阵很想成为单位矩阵,但不可能做到。
右逆中,
,如果将右逆写在A左边也不是单位矩阵了,那
是什么?是在A矩阵行空间(A矩阵各行张成的子空间)投影的投影矩阵。
四、参考文章
http://shijuanfeng.blogbus.com/logs/206966888.html