MIT线性代数总结笔记——特征值与特征向量

特征值和特征向量的意义

假设给定矩阵 $A$ ，作用在向量 $x$ 上，结果就得到了向量 $Ax$ （此时矩阵A就像一个函数 $f(x)$ ），其中，我们会得到 $Ax$ 中的很多向量，在这些向量中，我们感兴趣的是那些线性变换前后方向保持一致的向量，这些向量是特殊的。因为对于多数向量而言，线性变换后的 $Ax$ 与 $x$ 是在方向上会发生改变。对于那些特定的向量能使得 $Ax$ 平行于 $x$ 的，我们称之为特征向量（Eigenvectors）。

那么平行意味着什么？我们可以用方程来表达这样的关系，即 $Ax=\lambda x$ ， $x$ 表示特征向量， $\lambda$ 作为向量 $x$ 的系数，可以为负数表示平行且方向相反，也可以取 $0$ ，甚至可以为复数（实数构成的矩阵可能会出现虚数特征值）。这里的 $\lambda$ 称为特征值（Eigenvalues）。

我们现在并不知道该如何求矩阵的特征向量和特征值，但我们可以先来考虑以下几个问题：

（1）当特征值为 $0$ 时，意味着什么？根据我们前文所学的知识，当特征值为 $0$ 时，有 $Ax=\lambda x \Rightarrow Ax=0$ ，即特征值为 $0$ 的特征向量应该位于 $A$ 的零空间中。也就是说，如果矩阵 $A$ 是不可逆矩阵，那么它将会有一个特征值为 $\lambda = 0$ 。

（2）我们再来看投影矩阵 $P = A(A^TA)^{-1}A^T$ 的特征值和特征向量。

当向量 $b$ 处于投影平面（ $A$ 的列空间）中时， $Pb$ 与 $b$ 是同向的，此时 $b$ 投影前后不变，即 $Pb=1·b$ 。即在投影平面中的所有向量都是投影矩阵的特征向量，而它们的特征值均为 $1$ 。
当向量 $b$ 为投影平面的法向量时，此时 $b$ 也就是误差向量 $e$ 。我们知道误差向量 $e$ 垂直于列空间 $C(A)$ ，因此我们可以得到 $Pe=0·e$ ，即特征向量 $e$ 的特征值为0。
因此投影矩阵的特征值为 $1,0$ 。

（3）如何求二阶置换矩阵 $A=\left[\begin{matrix} 0 & 1 \\ 1 & 0\end{matrix}\right]$ 的特征值和特征向量。观察矩阵我们会知道，经过置换矩阵处理过的向量，其元素会发生交换，那么就有经过矩阵交换元素前后不变的情况和方向相反的情况，分别为特征值为 $1$ 的特征向量 $\left[\begin{matrix} 1 \\ 1\end{matrix}\right]$ 和特征值为 $-1$ 时的特征向量 $\left[\begin{matrix} 1 \\ -1 \end{matrix}\right]$ 。

对于一个 $n×n$ 的矩阵，将会有 $n$ 个特征值，特征值与该矩阵对角线上的元素的和相同，即 $\sum_{i=1}^n \lambda_i = \sum_{i=1}^n a_{ii}$ 。我们把矩阵对角线上的元素称为矩阵的迹（Trace）。在上文二阶置换矩阵的例子中，如果我们求得了一个特征值 $1$ ，我们可以直接利用迹来求出另一特征值 $\lambda_2 = 0+0-1=-1$ 。

特征值和特征向量的求解

我们的问题是如何找到特征值和特征向量，这不是一个 $Ax=b$ 的求解问题，因此不能使用消元法，我们需要一个更巧妙的方法来求解它们。

观察等式 $Ax=\lambda x$ ，这个等式难解是因为其中有两个未知量（ $\lambda$ 和 $x$ ），我们的目标是将等式化成仅有一个未知量的方程，因此我们需要对其进行变形， $\lambda$ 可以看作是 $\lambda I$ ，这样就有

$Ax=\lambda x \Rightarrow Ax = \lambda Ix \Rightarrow (A-\lambda I)x = 0$

如果对于不为零向量的 $x$ 该等式成立，那么意味着矩阵 $(A-\lambda I)$ 为奇异矩阵(否则向量 $x$ 必为零向量或零矩阵)。那么我们知道奇异矩阵的判定方法是其行列式为零，即

$|A-\lambda I| = 0$

这样等式中就不含未知量 $x$ 了，该方程仅含未知量 $\lambda$ ，该方程称为特征方程或特征值方程。我们可以通过特征方程来求解出 $\lambda$ ，当然 $\lambda$ 可能有多个不同的值，也可能有重复的值，重复的 $\lambda$ 是难点所在。

得到 $\lambda$ 后，我们可以继续求解向量 $x$ ，此时使用消元法，我们已知 $(A-\lambda I)$ 是个奇异矩阵，寻找其零空间，利用消元法找出主列，给自由变量赋值即可。下面我们以一个示例来具体阐述求解的步骤。

例求 $A=\left[\begin{matrix} 3 & 1 \\ 1 & 3\end{matrix}\right]$ 的特征值和特征向量

观察矩阵 $A$ ，我们发现这是一个对称矩阵，对称矩阵意味着其特征值必为实数（这在后面的篇幅中会证明）。我们先来求 $(A-\lambda I)$ 的行列式，有

$det(A-\lambda I)= \begin{vmatrix} 3-\lambda & 1 \\ 1 & 3-\lambda\end{vmatrix} = (3-\lambda)^2 -1 = \lambda^2-6\lambda + 8=(\lambda-4)(\lambda -2)=0$

求解过程中我们发现 $(A-\lambda I)$ 的行列式最后化成了一元二次方程，我们可以轻松求解出 $\lambda_1 = 4, \lambda_2 = 2$ 。在继续求解下去之前，对于二维的矩阵，我们可以观察到在一元二次方程展开后，一次项的系数其实就是矩阵 $A$ 的迹的相反数（ $3+3=6$ ），而常数项则为矩阵 $A$ 的行列式（ $det(A) = 3×3-1 = 8$ ），根据因式分解的特点，我们可以进一步得出，特征值之和就等于矩阵的迹，特征值之积等于矩阵的行列式，即

$\sum_{i=1}^n \lambda_i = \sum_{i=1}^n a_{ii}, \quad \prod_{i=1}^n \lambda_i = det(A)$

然后再来看特征向量，我们已经得到了两个特征值，现在只需要分别将两个特征值代入去求解特征向量，

当 $\lambda = 4$ 时，有 $A-4I = \left[\begin{matrix} 3-4 & 1 \\ 1 & 3-4\end{matrix}\right] = \left[\begin{matrix} -1 & 1 \\ 1 & -1\end{matrix}\right]$ ，这个矩阵是奇异的，代入到 $(A-\lambda I)x = 0$ ，有 $\left[\begin{matrix} -1 & 1 \\ 1 & -1\end{matrix}\right]\left[\begin{matrix} x_1 \\ x_2\end{matrix}\right] = \left[\begin{matrix} 0 \\ 0\end{matrix}\right]$ ，得 $x_1=\left[\begin{matrix} 1 \\ 1\end{matrix}\right]$ 。
当 $\lambda = 2$ 时，有 $A-2I = \left[\begin{matrix} 3-2 & 1 \\ 1 & 3-2\end{matrix}\right] = \left[\begin{matrix} 1 & 1 \\ 1 & 1\end{matrix}\right]$ ，这个矩阵是奇异的，代入到 $(A-\lambda I)x = 0$ ，有 $\left[\begin{matrix} 1 & 1 \\ 1 & 1\end{matrix}\right]\left[\begin{matrix} x_1 \\ x_2\end{matrix}\right] = \left[\begin{matrix} 0 \\ 0\end{matrix}\right]$ ，得 $x_2=\left[\begin{matrix} -1 \\ 1\end{matrix}\right]$ 。

至此我们完成了对矩阵 $A$ 的特征值和特征向量的求解，并且我们还发现两特征向量满足正交关系。

观察 $A=\left[\begin{matrix} 3 & 1 \\ 1 & 3\end{matrix}\right]$ 得到的特征向量，与第一节中的置换矩阵 $A=\left[\begin{matrix} 0 & 1 \\ 1 & 0\end{matrix}\right]$ 刚好相同，它们的特征值不相同，前者为 $4$ 和 $2$ ，后者为 $1$ 和 $-1$ 。但是我们发现，两个矩阵之间的关系可以看作 $\left[\begin{matrix} 3 & 1 \\ 1 & 3\end{matrix}\right] = \left[\begin{matrix} 0 & 1 \\ 1 & 0\end{matrix}\right]+3I$ ，其特征值的关系为 $4=1+3，2=-1+3$ ，那么两矩阵相加时，得到的矩阵的特征值之和是否等于两矩阵特征值之和？

我们设 $Ax=\lambda x，Bx=\alpha x$ ，只需验证 $(A+B)x=(\lambda+\alpha)x$ 是否成立。

当 $B=3I$ 时，在上述例子中我们知道，该等式是成立的，但是如果矩阵 $B$ 为任意矩阵，则等式不一定成立。因为这两个式子中的特征向量 $x$ 不一定相同，所以等式应该写成 $Ax=\lambda x，By=\alpha y$ ，显然加和的等式无法成立。因此 $A+B$ 的特征值并不一定等于 $A$ 的特征值和 $B$ 的特征值之和，仅当 $B$ 为单位矩阵的倍数时成立。

复数特征值的情况

上文中还有个问题是，为什么实数构成的矩阵可能会出现虚数特征值？

例旋转矩阵 $Q$ 可以使得空间中的向量旋转 $90°$ ， $Q=\left[\begin{matrix} cos90° & -sin90° \\ sin90° & cos90° \end{matrix}\right] = \left[\begin{matrix} 0 & -1 \\ 1 & 0 \end{matrix}\right]$ ，用 $Q$ 表示是因为旋转矩阵是正交矩阵。

我们观察矩阵 $Q$ 的迹和行列式发现

$\begin{cases} \lambda_1+\lambda_2 = 0（矩阵的迹） \\ \lambda_1·\lambda_2=1（矩阵的行列式）\end{cases}$

从几何角度上，可以想象，哪些向量发生 $90°$ 旋转后还是它自身，显然对于实向量是不存在的。如果我们求解 $(Q-\lambda I)$ 的行列式有

$det(Q-\lambda I) = \left[\begin{matrix} -\lambda & -1 \\ 1 & -\lambda\end{matrix}\right] = \lambda^2+1=0$

解得 $\lambda_1 = i, \lambda_2=-i$ 。两个特征值均为复数，因此我们说即使矩阵全是由实数构成的，其特征值也可能不是实数。有一个结论是：如果矩阵越接近对称，那么其特征值就是实数，相反，如果矩阵越不对称，那么其特征值就越可能有虚数存在。对于反对称矩阵 $Q^T=-Q$ ，是一个极端情况，于是我们得到了纯虚数的特征值，通常我们见到的矩阵是介于对称与反对称之间的。

特征值相同的情况

例求 $A = \left[\begin{matrix} 3 & 1 \\ 0 & 3\end{matrix}\right]$ 的特征值和特征向量

首先观察矩阵 $A$ 发现这是一个三角矩阵，三角矩阵的特征值就在其对角线元素上，因为在行列式的计算中，对角线两侧的元素不影响其行列式的值，有

$det(A-\lambda I) = \begin{vmatrix} 3-\lambda & 1 \\ 0 & 3-\lambda\end{vmatrix} = (3-\lambda)^2 = 0$

解得 $\lambda_1 = \lambda_2= 3$ 。下面代入特征值计算特征向量，有

$(A-\lambda I)x=\left[\begin{matrix} -1 & 1 \\ 1 & -1\end{matrix}\right]\left[\begin{matrix} x_1 \\ x_2\end{matrix}\right] = \left[\begin{matrix} 0 \\ 0\end{matrix}\right]$

因为两个特征值都为 $3$ ，因此我们只能求出一个特征向量，即 $x_2$ ，我们无法得出另一个与 $x_1$ 线性无关的特征向量了。本例中，矩阵 $A$ 是一个退化矩阵，重复的特征值在特殊情况下可能导致特征向量的短缺。

特征值与特征向量的应用

在了解了什么是特征值与特征向量及它们的求解方法后，我们来讨论它们的应用问题。

对角化（Diagonalization）

首先给出对角化矩阵公式： $S^{-1}AS=\Lambda$

其中，矩阵 $S$ 是矩阵A的特征向量按列组成的， $S$ 称为特征向量矩阵（Eigenvector Matrices），矩阵 $\Lambda$ 称为对角特征值矩阵，其对角线上的元素为矩阵 $A$ 的特征值，其余元素全部为 $0$ 。

推导过程：

根据 $Ax_n=\lambda_n x_n$ ，我们将AS展开得到

$AS = A\left[\begin{matrix} x_1 & x_2 & \cdots & x_n\end{matrix}\right] = \left[\begin{matrix} \lambda_1x_1 & \lambda_2x_2 & \cdots & \lambda_nx_n\end{matrix}\right]$
将其写成矩阵形式

$AS = \left[\begin{matrix} \lambda_1x_1 & \lambda_2x_2 & \cdots & \lambda_nx_n\end{matrix}\right] = \left[\begin{matrix} x_1 & x_2 & \cdots & x_n\end{matrix}\right]\left[\begin{matrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & & \vdots \\ \vdots & & \ddots & 0 \\ 0 & \cdots & 0&\lambda_n\end{matrix}\right]=S\Lambda$
由于矩阵S中的列向量线性无关，因此矩阵 $S^{-1}$ 必然存在，我们可以在矩阵两侧左乘逆矩阵得到

$AS = S\Lambda \Rightarrow S^{-1}AS=\Lambda \Rightarrow A = S\Lambda S^{-1}$

因此我们得到了一种新的矩阵分解方式： $A = S\Lambda S^{-1}$ 。它可以将矩阵 $A$ 分解为特征向量矩阵、对称特征值矩阵与

特征向量矩阵的逆的乘积。我们将这一过程称为矩阵 $A$ 的对角化。它的作用使得求解矩阵的幂变得更为方便。

矩阵的幂

矩阵 $A$ 的对角化对求解矩阵的幂有着至关重要的作用。我们先来探讨一个问题： $A^2$ 的特征值和特征向量会有什么变化？

考虑 $A^2$ 的特征向量和特征值，我们依然从 $Ax=\lambda x$ 开始，我们将等式两侧同乘 $A$ 得

$A^2x=\lambda Ax = \lambda^2x$

这说明 $A^2$ 和 $A$ 得特征向量相同，而特征值为 $\lambda^2$ ，写成对角化形式有

$A^2 = S\Lambda S^{-1}S\Lambda S^{-1} = S\Lambda^2S^{-1}$

将其以此类推可知

$A^k = S\Lambda^kS^{-1}$

即矩阵 $A^k$ 与矩阵 $A$ 的特征向量相同，特征值为 $\lambda^k$ 。这就启示我们：如果要求一个矩阵 $A$ 的 $k$ 次幂，我们可以先对矩阵 $A$ 进行对角化分解，再求其对角特征值矩阵的 $k$ 次幂即可。

因此我们可以推出一个结论：如果矩阵 $A$ 具有 $n$ 个线性无关的特征向量，如果所有特征值均满足 $|\lambda_i|<1$ ，则当 $k \rightarrow \infty$ 时， $A^k \rightarrow 0$ 。

最后编辑于：2021.05.20 17:05:42

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 195,980评论 5赞 462
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 82,422评论 2赞 373
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 143,130评论 0赞 325
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 52,553评论 1赞 267
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 61,408评论 5赞 358
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 46,326评论 1赞 273
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 36,720评论 3赞 386
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 35,373评论 0赞 254
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 39,678评论 1赞 294
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 34,722评论 2赞 312
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 36,486评论 1赞 326
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 32,335评论 3赞 313
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 37,738评论 3赞 299
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,009评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,283评论 1赞 251
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 41,692评论 2赞 342
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 40,893评论 2赞 335