MIT线性代数课程学习笔记总结

分享或转载请附文章链接:https://listen2099.github.io/blog/2018/10/21/线性代数学习总结/
分享或转载请附文章链接:https://www.jianshu.com/p/fd06f4d9b6ae
大家想学平易近人又有用版的线代可以去看bilibili宋浩老师的线性代数

第一讲

  • 线性代数基础
  • 求解线性方程组
  • n个未知数,n个方程

有方程组

\left\{\begin{matrix} 2x-y=0\\ -x+2y=3 \end{matrix}\right.

其矩阵形式:

\begin{bmatrix} 2&-1\\ -1&2 \end{bmatrix}\cdot \begin{bmatrix} x\\ y \end{bmatrix}=\begin{bmatrix} 0\\ 3 \end{bmatrix}
\Rightarrow \vec{A}\cdot \vec{x}=\vec{b}

row picture:在平面中每个方程在平面中画成一条线,则每条线的交点就是方程组的解

column picture:在更高维度的空间中,矩阵A的每一列是一个向量,向量b就是矩阵A每一列的线性组合,向量x决定了线性组合的具体方式

所有向量所有的线性组合可以得到所有的右向量b

对于3个未知数3个方程的情况,三个向量都在同一平面内,只能得到二维中的所有右向量b,不能得到三维中的所有又向量b,这时,矩阵A是奇异的、不可逆的;

以此类推,对于n个未知数n个方程的情况,如果有一个向量位于(n-1)个向量构成的“特殊平面内”,则矩阵A是奇异的、不可逆的。

这里可以理解为,某个向量可以由其他向量的线性组合得到,说明这个向量根本没有出力

第二讲

  • 消元法求解方程
  • 利用矩阵语言描述消元——矩阵变换

消元的步骤:写出增广矩阵[Ab],将每一行主元以下的元素,通过 “该行元素-消元乘数×主元元素” 的方式化为0,然后,自下向上的回代得到方程组的解。

知识点:行列式=所有主元元素的乘积

利用矩阵进行消元:设计一个矩阵,进行 “该行元素-消元乘数×主元元素” 的操作:

  • 列形式的矩阵乘法:

\begin{bmatrix}col1 &col2&col3 \end{bmatrix}\cdot \begin{bmatrix}x\\y\\ z\end{bmatrix}=xcol1+ycol2+zcol3

  • 行形式的矩阵乘法:

\begin{bmatrix}x &y &z \end{bmatrix}\cdot \begin{bmatrix}row1\\ row2\\ row3\end{bmatrix}=xrow1+yrow2+zrow3

其中,多个行形式的行方向上的罗列就等同于一次行变换,

Eij表示初等矩阵,表示,用该矩阵左乘原矩阵,可将原矩阵中i行j列的元素化为0

E32E21A=U ==> EA=U, E 就称为置换矩阵

第三讲

  • 矩阵乘法
  • 逆的求法

方法一:

原始方法:
[A\cdot B]_{ij} = \sum_{k=1}^{n}a_{ik}b_{kj}
,n为A的列、B的行数。

方法二:

利用矩阵×列的思想,将AB=C中,C的每一列视为,A在B的每一列下的线性组合。

方法三:

利用行×矩阵的思想,将AB=C中,C的每一行视为,B在A的每一行下的线性组合。

方法四:

AB=A中各列与B中各行的乘积之和

行空间:所有行的线性组合

列空间:所有列的线性组合

方法五:

将矩阵分块,将每一块视为一个单元,进行整体的矩阵乘法

逆(方阵)

如果存在A-1使得A-1A=I,则A是可逆的、非奇异的,且A-1使得A-1A=I=AA-1

奇异矩阵:没有逆,若能找到一个非0向量x,使得Ax=0,则没有逆矩阵,A是奇异的。

现在主要讨论可逆的情况:

Gauss-Jordan:同时处理两个方程

E[A|I] ==> [I|E]

说明:A经过E的变换变成I,同时,I经过E的变换变成E,则后半部分E的位置一定是A-1

第四讲

  • 两个可逆矩阵乘积的逆
  • 消元矩阵的乘法
  • A消元得到U,A=LU

(AB)-1=B-1A-1

(AB)T=BTAT

(AT)-1=(A-1)T

EA=U,A=LU,则L=E-1,且L为下三角矩阵,U为上三角矩阵;U可进一步分解为DU,D为对角矩阵

对于A=LU,若不存在行互换,则消元乘数可以直接写进L中

应这样看待消元:对A进行消元,则得到LU,L为消元步骤,U为消元结果

置换矩阵

置换矩阵P包括,单位矩阵所有行的所有排列的集合,对于置换矩阵P,P-1=PT,它的逆和转置相同。

第五讲

  • 置换
  • 转置
  • 向量空间极其子空间

置换矩阵:P,主元为0时需要行互换得到非0主元

在A=LU过程中m,若需要行互换,则概括为PA=LU,对于任意可逆矩阵都有以上形式。

置换矩阵P是I的行排列情况的z所有情况,共有n!种可能,且P-1=PT

转置:(AT)ij = Aji

对称矩阵: AT = A

RTR得到的矩阵都是对称矩阵,证明:(RTR)T = RTRTT = RTR

向量空间: 例子:Rn表示n维实向量,向量有n个分量,且每个分量都是实数。

向量空间必须对数乘、和加法两种运算是封闭的

Rn的子空间:

  1. Rn本身
  2. 穿过0点,两端无限延伸的直线
  3. 穿过0点的(n-1)维“超级平面”
  4. 只包含0向量

矩阵的子空间:列向量的所有线性组合构成子空间 --> 列空间C(A)

第六讲

  • 向量空间及其子空间
  • 矩阵A的列空间
  • 矩阵A的0空间

向量空间: 一些向量,相加数乘后的结果任在原空间内

子空间: 向量空间内的一些向量,他们属于母空间,但自身又构成向量空间

所有子空间必须包含0点

A的列空间,C(A),所有列的线性组合

什么样的b能使得方程有解?所有的线性组合使得方程有解

0空间: 是一种完全不同的子空间,0空间包含Ax=0中所有的解x

第七讲

  • 计算0空间
  • 主变量、自由变量
  • 简化行阶梯形式(rref)

消元过程中,方程组的解不变,则0空间不变。

消元中s主元为0,说明该列是前几列的线性组合

秩(r):d主元的数量

主元所在的列为主列(r),除此之外其他列为自由列(n-r),可以自由或任意的为自由列分配数值

通过分配自由值+回代得到特解,通过特解能构建出整个0空间,0空间就是特解得线性组合

  • 秩r为主变量个数,n-r为自由变量个数

简化的行阶梯形式:

消元之后,令主元上下都是0,将主元化为1。

R=\begin{bmatrix}I &F \\ 0 &0\end{bmatrix}

简化形式提供的信息:

  • 主列、主行
  • 都为0的行表示该行原来是其他行的线性组合
  • 单位阵I:主行主列交汇处
  • 自由阵F
0空间矩阵:其每一列由特解组成,记做N。

N = \begin{bmatrix}-F\\I \end{bmatrix}

N中的I是按照F的列分配形成的单位阵

第八讲

  • 线性方程组的完整解Ax=b

是否有解需要消元确认

r=m=n时,1个解

R=\begin{bmatrix}1 &0 \\ 0& 1\end{bmatrix}

r=n<m时,无解 或 1解

R=\begin{bmatrix}I\\0 \end{bmatrix}

r=m<n时,无穷解

R=\begin{bmatrix}I &F \end{bmatrix}

r<n,r<m时,0解或无穷解

R=\begin{bmatrix}I &F \\ 0 &0\end{bmatrix}

第九讲

  • 线性相关性
  • 生成空间
  • 基和维数

当V1,...Vn为矩阵A的列,在一个m维空间内,可直接判断向量组的相关性:

若A的0空间只有0向量,则向量组线性无关 --> r=n

若A的0空间还有除0向量之外的其他向量,则线性相关 --> r<n (有free变量)

生成空间: 包含所有线性无关向量组的线性组和

向量空间的一组基: 满足两个性质:1,线性无关;2,可生成整个空间

矩阵的秩r = 主列的数目 = 列空间的维数

n-r = 自由列的数目 = 0空间的维数

第十讲

  • 矩阵的4个基本子空间

列空间C(A)

零空间N(A)

行空间C(AT)

左0空间N(AT)

在Rn中的有:

行空间C(AT)

dim = r

基的构造:最简形式的前r行

零空间N(A)

dim = n-r

基的构造:不就是0空间的n-r个特解么

在Rm中的有:

列空间C(A)

dim = r

基的构造:列中线性无关的列

左零空间N(AT)

dim = m-r

基的构造:AI -> RE ,R中0行对应的E中的行向量

矩阵的基:上三角矩阵、对称矩阵、对角矩阵

第十一讲

  • 矩阵空间
  • 秩1矩阵
  • 小世界图

矩阵空间可视为新的向量空间

设M为所有的3×3矩阵,则:

M的一组基为:

\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&1&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&1\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\1&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&1\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\1&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&1&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}

所有3×3的S对称矩阵的维数为6:

\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}, \begin{bmatrix}0&1&0\\1&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&1\\0&0&0\\1&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&1\\0&1&0\end{bmatrix}

所有3×3的U上三角矩阵的维数为6:

\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&1&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&1\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&1\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}

S∩U = D对角矩阵,dim(S∩U) = 3

S+U = S中的任何元素+U中的任何元素 = 所有的3×3矩阵 --> dim(S+U) = 9

dim(S) + dim(U) = dim(S∩U) + dim(S+U)

秩1矩阵

所有秩为1的矩阵可以表示为A=UVT,一列点乘一行

dim(C(A)) = rank = dim(C(AT))

若一个5×17的矩阵,秩为4,可将其分解为4个秩1矩阵的组合

两个矩阵的和的秩不大于两个矩阵的秩的和

第十二讲

  • 图 = {nodes,edges}

利用关联矩阵描述具体问题的拓扑结构

欧拉公式:

nodes - #edges + #loops = 1

第十三讲

  • 前一阶段的d复习

第十四讲

  • 正交向量
  • 子空间的正交
  • 基的正交

正交向量:xTy = 0

0向量与任何向量都正交

子空间s与子空间T正交,说明,S中的每一个向量都和T中的每一个向量正交

正交的子空间一定不会交于某个非0的向量

行空间正交于零空间,行空间和0空间是Rn中的正交补,0空间含有所有垂直于行空间的向量

求一个无解方程组的解:ATAx = ATb

rank(ATA) = rank(A)

N(ATA) = N(A)

当且仅当0空间只有0向量,A的各列线性无关,ATA为可逆的

第十五讲

  • 投影
  • 投影矩阵
  • 最小二乘应用

二维投影:

a,b为不相关的向量,a上b的投影p=ax,e=b-p为b到a的误差

e=b-p=b-ax

关键是e⊥a,所以,aTe=aT(b-ax)=0,得:

x=(aTb)/(aTa) (1)

p=ax=a(aTb)/(aTa) (2)

投影矩阵P=(aaT)/(aTa) (3)

投影的结果是一个投影矩阵,作用于某个向量,具有重要性质

  1. 列a为列空间的基
  2. PT=P,对称
  3. P2=P

高维投影

有时Ax=b无解,只能求解最近的那个可解的问题,将问题换做求解A\widehat{x}=b

p为b在列空间的投影,e=b-p为b到A的误差
e=b-p=b-A\widehat{x},寻找合适的列组合,好让误差向量垂直于这个平面(误差最小)

关键还是e⊥A,所以,A^{T}(b-A\widehat{x})=0,e在N(AT),e垂直C(A),得:

\widehat{x}=(A^{T}A)^{-1}A^{T}b (1)

p=A\widehat{x}=A(A^{T}A)^{-1}A^{T}b (2)

P=A(ATA)-1AT (3)

P的性质:

  1. PT=P
  2. P2=P

应用

方程多,未知数hh少,m>n的线性最小二乘拟合

第十六讲

  • 投影矩阵
  • 最小二乘直线

投影矩阵P=A(ATA)-1AT

如果b在C(A)中,则Pb=b

如果b⊥C(A),则Pb=0

b在C(A)的投影为p,p为\widehat{x}确定的线性组合;

b在N(AT)的投影为e;

b=p+e=Pb+(I-P)b;e·p=0;e垂直于整个列空间

将原方程Ax=b经过A^{T}A\widehat{x} = A^{T}b变换为正规方程

如果A的各列线性无关,则ATA一定可逆

垂直的单位向量一定线性无关,即标准正交向量

第十七讲

  • 正交基 q1...qn
  • 正交矩阵(方阵才叫正交矩阵)
  • A->Q Gramm-Schmidt方法

标准正交向量有两个特点,相互正交,每个向量的模长都是1

qiT qj= 0 ( i≠j )

qiT qj= 1 ( i=j )

QTQ = I

如果Q为方阵,那么QTQ=I说明QT=Q-1

当Q是标准正交列向量的矩阵时,投影到列空间的投影矩阵是P = QQT

正规方程也简化为\widehat{x}=Q^{T}b

Gramm-Schmidt方法:

  1. 先找到正交的向量: B = b-ATbA/(ATA)

  2. 再标准化,每个向量除以各自的模长

如果消元的过程是P=LU,那么A=QR,其中R是上三角矩阵

第十八讲

  • 行列式

行列式是一个与每个方阵都有关的数字

可逆矩阵的行列式非0,DetA=0时,矩阵一定是可逆的

行列式的性质们:

1 单位阵的行列式为1

2 行交换时矩阵的行列式符号取反(一个置换矩阵的Det=-1 or 1)

3a \begin{vmatrix}ta&tb\\c&d\end{vmatrix}=t\begin{vmatrix}a&b\\c&d\end{vmatrix}

3b \begin{vmatrix}a+a'&b+b'\\c&d\end{vmatrix}=\begin{vmatrix}a&b\\c&d\end{vmatrix}+\begin{vmatrix}a'&b'\\c&d\end{vmatrix}

4 任意两行相等时 Det = 0

5 经过初等变换的行列式不变

6 若有一行全为0,则DetA=0

7 DetU为对角线的乘积,若消元过程中发生了行互换,需要相应改变符号

8 当且仅当A为奇异矩阵的时候DetA=0

9 Det(AB) = DetA * DetB ; Det(AT) = 1/DetA

10 DetAT = DetA

第十九讲

  • 行列式公式
  • 代数余子式

DetA = ∑ (-1)taaa... ...a

α,β,γ,... ...θ为1~n的全部排列情况,t为相应排列情况下的逆序数

余子式:Mij 为原矩阵去除第i行j列后剩下的矩阵的行列式

代数余子式:Aij = (-1)i+jMij

第二十讲

  • 求逆公式
  • 莫拉克法则

A-1 = (1/DetA)CT

C为A的代数余子式构成的矩阵,CT为A的伴随阵

Ax=b

-> x=A-1b

-> x=(1/DetA)CTb

xn = DetBn/DetA

Bn为一个矩阵,是将A的第n列替换成b形成的矩阵

第二十一讲

  • 特征值
  • 特征向量

对于方阵,找出特殊的向量和数字,使得Ax = λx

矩阵A作用在向量x上,若结果是λx,就说明Ax与x平行,这样的x就是矩阵的特征向量,对应的λ就是特征值。

特征值为0的特征向量就是N(A)

特殊例子:

对于投影矩阵,

任意平面上的向量x就是一个特征向量(Px=x),λ=1;

任意垂直于平面的向量x,Px=0x,λ=0。

对于置换矩阵,λ=±1

  • n×n矩阵有n个特征值
  • 特征值的和等于对角线元素的和,也就是迹
  • 特征值的乘积等于行列式的值

求解特征值和特征向量:

Ax=λx -> (A-λI)x=0

由于奇异,Det(A-λI)=0得到λ,有了λ,通过求(A-λI)的零空间的基得到相应的特征向量

对于Ax=λx,则(A+aI)x=λx+ax=(λ+a)x

第二十二讲

  • 特征值和特征向量的使用
  • 对角化

假设A有n个线性无关的特征向量,按列排列,组成特征向量矩阵S

AS=A\begin{bmatrix}x_{1} &x_{2} &x_{2} &...& x_{n}\end{bmatrix}

=\begin{bmatrix}\lambda _{1}x_{1} &\lambda _{2}x_{2} &\lambda _{3}x_{3} & ...&\lambda _{4}x_{4}\end{bmatrix}

=\begin{bmatrix}x_{1} &x_{2} &x_{3} &... & x_{n} \end{bmatrix}\begin{bmatrix}\lambda _{1} & & & & \\ &\lambda _{2} & & & \\ & &\lambda _{3} & & \\ & & &... & \\ & & & &\lambda _{n}\end{bmatrix}

=S\Lambda

ASS^{-1}=A=S\Lambda S^{-1}

特征向量与特征值有助于了解矩阵的幂

A^{n}=S\Lambda^{n}S^{-1}

当λn的绝对值小于1,矩阵的幂趋于0,就说这个矩阵稳定。

不存在n个线性无关的特征向量就b不能对角化,若所有的λ不相同,则A必有n个线性无关的特征向量且可对角化;若存在重复的λ,可能但不一定存在n个线性无关的特征向量。

将某个向量化为矩阵特征向量的某个线性组合,有助于处理很多问题

第二十三讲

  • 微分方程

常系数线性微分方程的解是指数形式

总之先构建常系数矩阵A,再求得A的特征值对角矩阵\Lambda和特征向量矩阵S

有微分方程\frac{du}{dt}=Au,其解的形式为:

u(t)=S\begin{bmatrix}c1 & &\\ &c2 & \\ & &cn \end{bmatrix}\begin{bmatrix}e^{\lambda _{1}t} & & \\ &e^{\lambda _{2}t} & \\ & &e^{\lambda _{n}t} \end{bmatrix} = S \begin{bmatrix}c1 & &\\ &c2 & \\ & &cn \end{bmatrix} e^{\Lambda t}

令上述u=Sv

\frac{du}{dt}=Au,则S\frac{dv}{dt}=ASv\frac{dv}{dt}=S^{-1}ASv=\Lambda v

\begin{cases} & v(t) = e^{\Lambda t}v(0) \\ & u(t) = e^{At}u(0) = Se^{\Lambda t}S^{-1}u(0)=e^{At}u(0) \end{cases}

当S可逆的情况下e^{At}可展开为泰勒级数

第二十四讲

  • 马尔科夫矩阵、稳态
  • 傅里叶级数

马尔科夫矩阵满足以下三个条件:

  1. 每个元素的值不小于0
  2. 每一列的和为1,这就保证有一个特征值为1
  3. 马尔科夫矩阵的幂还是马尔科夫矩阵

马尔科夫还有两个要点:

  • 其他的特征值的绝对值小于1
  • 在uk=Aku0 中,uk=c1x1,当k无限大时,结果只与特征值为1的特征向量有关系。

对于一组标准正交基qn,他们可以在任意的x向量线性组合下构成空间内部任意的向量v,

那么每一个系数xn=qnTv。

向量有向量的内积,则任意两个函数的内积同理为f^{T}g=\int_{0}^{\pi }f(x)g(x)dx

这样对于一个傅里叶级数,它的每个系数的求法就和上述xn的求法相同了,傅里叶真是牛逼,他把函数看成了无限的矩阵。

第二十五讲

  • 对称阵
  • 正定矩阵

对称阵的特征值是实数,特征向量中能挑选出来一组相互垂直的

通常 A=S\Lambda S^{-1},若A为对称的,则S中的特征向量相互垂直,且取标准正交向量,则A=Q\Lambda Q^{-1}

然而,Q有性质:Q-1 = QT

所以,对称阵有分解:A=Q\Lambda Q^{T}=q_{1}q_{1}^{T} \lambda_{1} +q_{2}q_{2}^{T}\lambda_{2}+... ...+q_{n}q_{n}^{T}\lambda _{n}

每个对称阵都是一些相互垂直的投影矩阵的组合

对于对称阵,主元的符号与特征值的符号相同(符号个数相同),主元乘积(没有换行)= 特征值的乘积 = 行列式的值

对于正定矩阵,首先是一个对称阵,特征值为正数,主元为正数,所有子行列式为正数

第二十六讲

  • 复数矩阵
  • 快速傅里叶变换FFT

在Cn空间中的向量组成的矩阵就是复矩阵。

模长、内积、对称、正交、正交矩阵的运算都要进行Hermition运算,也就是对共轭求转置

傅里叶矩阵的定义:

F_{n}=\begin{bmatrix} 1 &1 &1 &\cdots &1 \\ 1 &w &w^{2} &\cdots&w^{n-1} \\ 1 & w^{2} &w^{4} &\cdots & w^{2(n-1)}\\ \vdots&\vdots&\vdots &\ddots & \\ 1 & w^{n-1} &w^{2(n-1)} & & w^{(n-1)^{2}} \end{bmatrix}

其中w^{n} = 1,w_{n}=e^{\frac{2\pi i}{n}}

傅里叶矩阵的每一列都是正交的,除以模长后得到标准正交矩阵Q,根据性质F_{n}^{-1} = F_{n}^{H},方便的求自身的逆

得到一个n阶傅里叶矩阵的计算复杂度为1/2nlgn

第二十七讲

  • 如何判断一个矩阵是正定的
  • Rn空间中的椭圆体

对于一个对称阵,要让它正定,必须满足一下三个条件之一:

  1. 特征值都是正的
  2. 子行列式都是正的
  3. 主元都是正的
  4. XTAX > 0
以上条件有时候会出现恰好等于0的情况,这时候叫半正定,处于正定的临界点,此时矩阵很有可能是奇异矩阵

XTAX是将矩阵转化为二次形式

判断二次形式大于0最直接的方法就是通过配方,将二次形配方为平方和的形式,配方后各项的系数就是主元。

在多维情况下,特征向量说明主轴的方向;特征值说明主轴的长度

第二十八讲

  • 相似矩阵

由于逆矩阵的特征值与原矩阵的特征值之间是倒数关系,所以逆矩阵和原矩阵的正定情况是一样的

如果A,B都是正定的,则A+B也是正定的

当A为一个m*n的长方形矩阵时,ATA为对称阵,且一定是也正定的。其中,当A的各列线性无关时,0空间只有0向量,此时,若x不为0向量,那就只会大于0

A与B相似指的是:存在一个可逆的矩阵M,使得B=M-1AM

相似的点是:1具有相同的特征值,2无关的特征向量的数量也是一样的,且B的特征向量=M-1x

每个方阵A都相似于一个若当方阵,若当方阵是由若挡块构成的矩阵,每个若挡块只有一个特征向量,若挡块的数量=特征向量的数量

第二十九将

  • 奇异值分解

将任意矩阵行空间中的一组标准正交基V,变换成列空间中的一组标准正交基U

AV_{i} = \sigma _{i}U_{i}

矩阵形式:

AV = UΣ --> A = UΣV-1 --> A = UΣVT

ATA的特征矩阵为V,特征向量为Σ2

AAT的特征矩阵为U,特征向量为Σ2

注意:特征向量的符号要单独确定

  • V1 到 Vr 为行空间(r维)标准正交基
  • U1 到 Ur 为列空间(r维)标准正交基
  • Vr+1 到 Vn 为0空间(n-r维)标准正交基
  • Ur+1 到 Um 为左0空间(m-r维)标准正交基

第三十讲

  • 线性变换

线性变换可以理解为一个映射T,这种映射要满足T(V+W) = T(V)+T(W); T(cV) = cT(V)

T(V) = AV,不同矩阵代表不同的线性变换

矩阵源于坐标,坐标是一组基的线性组合的系数,用A乘输入坐标得到输出坐标

如何确定变换矩阵A:

  1. 确定输入基(V1-Vn)和输出基(W1-Wm)
  2. A中第n列的确定: 对Vn线性变换,变换结果T(Vn)一定是输出基的线性组合,组合的系数就是A的第n列

第三十一讲

  • 基变换
  • 图像压缩

将原图分割为8×8的小块,用傅里叶基,小波基来表示原来的图像向量,关键是如果使用了好的基,那新的线性组合的前几项就能代表原向量

好基要满足的条件:1. 计算块,求逆快,一般是用正交矩阵,转置直接得逆;2,少量向量就能接近原信号

设原向亮p,新基矩阵为W,则p=Wc,c=W-1p,就是新的线性组合系数

关键:同一个线性变换T作用于同一个空间中不同的基矩阵,所得到的结果矩阵是相似的 :B = M-1AM,特征值组成的矩阵也是一个基矩阵

第三十二讲

  • 左右逆
  • 伪逆

两边都满足的逆的情况

r=m=n,满秩,方阵 A-1A = I = AA-1

左逆(A-1left

r=n,列满秩,N(A) = 0

列向量线性无关,Ax=b有0个或1个解

ATA (n*n)满秩,可逆

A-1left = (ATA)-1AT

A-1leftA = (ATA)-1ATA = I(n*n)

反过来乘 A(ATA)-1AT为投影矩阵,投到A的列空间

又逆(A-1right

r=m,行满秩,N(AT) = 0

行向量线性无关,Ax=b有无穷解,n-m个自由变量

AAT (m*m)满秩,可逆

A-1right = AT(AAT)-1

AA-1right = AAT(AAT)-1 = I (m*m)

反过来乘 AT(AAT)-1A为投影矩阵,投到A的行空间

伪逆

r<n, r<m,此时4个子空间都不为0

如果A是行空间到列空间的映射,那么列空间到行空间的映射A+就是伪逆

求伪逆:

SVD分解:A = UΣVT ; A+ = VΣ+UT

第三十三讲

  • 总复习

也是上过MIT的人了吗

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容