人工智能数学基础之线性代数(持续更新)

前言

本文只会记录人工智能中所用到的线性代数知识，并不会记录大学线性代数教材中的所有知识。

标量

只有大小没有方向的量称为标量。

单个数字就是标量。

向量

所谓的向量就是一组数字，可以用 $v$ 来表示
$v = \left[\begin{matrix}1 \\2 \\3 \end{matrix} \right]$ 或 $v = [1 ~ 2 ~ 3]$

当两个向量大小相等、方向相同时，说这两个向量相等。

这里由3个数组成，叫做3维向量，相应的，由n个数组成的称为n维向量。

左边排成一列的形式叫做列向量；右边叫做行向量

$v_i$ 表示向量中的第 $i$ 个元素，本例中 $v_1 =1,v_2 = 2,v_3 = 3$

在这里插入图片描述

3维向量可以在3维空间中表示出来。

向量的长度

n维向量 $\alpha = (a_1,a_2,...,a_n)$ ，数值 $\sqrt{a_1^2 + a_2^2 + ... + a_n^2}$ 称为向量 $\alpha$ 的长度或模，记为 $\left \| \alpha \right \|$

$\left \| \alpha \right \| = 1$ 称 $\alpha$ 为单位向量。

向量的运算

向量的加法：

在这里插入图片描述

向量的减法：

在这里插入图片描述

注意 $\vec{a} - \vec{b}$ 得到的向量为 $\vec{b}$ 指向 $\vec{a}$ 。

向量的乘法：

在这里插入图片描述

$\vec{a} \cdot \vec{b} = | \vec{a} | \cdot |\vec{b}| \cos \theta$

相当于向量 $\vec{b}$ 在向量 $\vec{a}$ 的方向的投影与向量 $| \vec{a} |$ 相乘

向量的范数

向量的1-范数： $\left \| X \right \|_1 = |x_1| +|x_2| + ... + |x_n|$ ；各元素的绝对值之和
向量的2-范数： $\left \| X \right \| = \sqrt{x_1^2 + x_2^2 + ... + x_n^2}$ ；每个元素的平方和再开方，也就是n维向量的长度；
向量的无穷范数： $\left \| X \right \|_\infty = \max(|x_1|,|x_2|,...,|x_n|)$ ；分量绝对值的最大者
向量的p-范数： $\left \| X \right \|_p = (\sum_{i=1}^n |x_i| ^ p)^{\frac{1}{p}} , (1 \leq p \leq n)$

对于2-范数有： $||x|| + ||y|| \geq || x + y||$

当 $||\vec{x}||$ ≠ $0$ ， $||\vec{y}||$ ≠ $0$ 时，称
$\theta = \arccos \frac{ \vec{a} \cdot \vec{y}}{||\vec{x}|| || \vec{y}||}$
为向量 $\vec{x}$ 与 $\vec{y}$ 的夹角。

向量的内积

设有n维向量
$\vec{x} = \left[ \begin{matrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{matrix} \right], \vec{y} = \left[ \begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{matrix} \right],$

令 $[\vec{x},\vec{y}] = \sum_{i=1}^n x_i y_i = x_1y_1 + x_2y_2 + \cdots+ x_ny_n$
上式称为向量的内积，内积的结果是一个标量。

这里要求一维向量 $\vec{x}$ 和向量 $\vec{y}$ 的行列数相同。

当 $[\vec{x},\vec{y}] = 0$ 时，称向量 $\vec{x}$ 和向量 $\vec{y}$ 正交。

一组两两相交的非零向量，称为正交向量组。

向量组

若干个同维的列向量(行向量)所组成的集合称为向量组。
如 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$

$\left[ \begin{matrix} a_{11} & a_{21} & \cdots & a_{m1}\\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{mn} \end{matrix} \right]$

向量组的线性组合：
对于向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ ，如果有一组数 $k_1,k_2,\cdots,k_n$ ，使
$\vec{\beta} = k_1 \vec{a_1} + k_2\vec{a_2} + \cdots + k_n\vec{a_n},$
则称向量 $\vec{\beta}$ 是向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ 的一个线性组合，或称 $\vec{\beta}$ 可由向量组 $\vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ 线性表示。

向量组的线性相关：

给定向量组 $A= \vec{a_1},\vec{a_2},\vec{a_3},\cdots,\vec{a_n}$ ，如果存在不全为零的数 $k_1,k_2,\cdots,k_n$ 使
$k_1\vec{a_1} + k_2\vec{a_2} + \cdots + k_n\vec{a_n} = 0$

则称向量组 $A$ 是线性相关的，否则称它为线性无关。

对于任一向量组，不是线性无关就是线性相关。

向量空间

设 $V$ 是 $n$ 维实向量构成的集合，对于向量的加法运算及数乘运算满足：

任意 $\alpha \in V,\beta \in V$ ，有 $\alpha + \beta \in V$ ；
任意 $\alpha \in V, k \in R$ ，有 $k\alpha \in V$

则称集合 $V$ 为 $R$ 上的实向量空间，简称向量空间。

已知 $V_1,V_2$ 是向量空间，若 $V_1 \in V_2$ ，则称 $V_1$ 是 $V_2$ 的子空间。

向量集合的张成

定义令 $v_1,v_2,\cdots,v_n$ 为向量空间 $V$ 中的向量。 $\alpha_1 v_1 + \alpha_2 v_2 + \cdots + \alpha_n v_n$ (其中 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 为标量)称为向量 $v_1,v_2,\cdots,v_n$ 的线性组合。

向量 $v_1,v_2,\cdots,v_n$ 的所有线性组合构成的集合，称为 $v_1,v_2,\cdots,v_n$ 的张成(Span)。向量 $v_1,v_2,\cdots,v_n$ 的张成记为 $\text{Span}(v_1,v_2,\cdots,v_n)$ 。

向量空间的基

设 $V$ 是一个向量空间，如果存在一组向量 $\alpha_1,\alpha_2,\cdots,\alpha_r \in V$ ，满足：

$\alpha_1,\alpha_2,\cdots,\alpha_r$ 线性无关；
$V$ 中任意一组向量都可以由该向量组线性表示，则称 $\alpha_1,\alpha_2,\cdots,\alpha_r$ 为向量空间 $V$ 的一组基；

线性无关：如果向量空间 $V$ 中的向量 $v_1,v_2,\cdots,v_n$ 满足
$c_1 v_1 + c_2 v_2 + \cdots + c_n v_n = 0$
就可以推出所有标量 $c_1,\cdots,c_n$ 必为0，则称它们为线性无关的。

标准基

集合 $\{e_1,e_2,e_3\}$ 为 $R^3$ 的标准基。之所以称这个基为标准基，使用因为使用这个基表示向量空间 $R^3$ 最自然。更一般地， $R^n$ 的标准基集为集合 $\{e_1,e_2,\cdots,e_n\}$ 。

其中单位矩阵 $I$ 的第 $j$ 列向量的记为 $e_j$ 。具体可见下面单位矩阵的定义。

行列式

行列式的引入

用消元法解二元线性方程组
$\begin{cases} a_{11}x_1 + a_{12}x_2 = b_1, \\ a_{21}x_1 + a_{22}x_2 = b_2. \end{cases} \tag{1}$
为消去未知数 $x_2$ ，以 $a_{22}$ 与 $a_{12}$ 分别乘上列两方程的两端，然后两个方程相减，得
$a_{11}a_{22}x_1 + \bcancel{a_{12}a_{22}x_2} - a_{12}a_{21}x_1 - \bcancel{a_{12}a_{22}x_2} = b_1a_{22} - a_{12}b_2 \\ (a_{11}a_{22}-a_{12}a_{21})x_1 = b_1a_{22} - a_{12}b_2$
类似地，消去 $x_1$ ，得
$(a_{11}a_{22} - a_{12}a_{21})x_2 = a_{11}b_2 - b_1a_{21}$
当 $a_{11}a_{22} - a_{12}a_{21} \neq 0$ 时，求得方程组 $(1)$ 的解为
$x_1 = \frac{b_1a_{22}-a_{12}b_2 }{a_{11}a_{22} - a_{12}a_{21}}, \quad x_2 = \frac{a_{11}b_2 - b_1a_{21}}{a_{11}a_{22} - a_{12}a_{21}} \tag{2}$
其中分母是由方程组 $(1)$ 的四个系数确定的，把这四个数按它们在方程组中的位置，排列成二行二列的数表
$\begin{matrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{matrix}, \tag{3}$
表达式 $a_{11}a_{22} - a_{12}a_{21}$ 称为数表 $(3)$ 所确定的 $\color{blue}{二阶行列式}$ ，并记作
$\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}. \tag{4}$
数 $a_{ij}(i=1,2;j=1,2)$ 称为行列式 $(4)$ 的元素或元。位于第 $i$ 行第 $j$ 列的元素称为行列式 $(4)$ 的 $(i,j)$ 元。

二阶行列式的定义，可以用对角线法则来记忆，比如写一个字母``X，先写`，为主对角线；再写/，为副对角线。二阶行列式就是主对角线上的两元素之积减去副对角线两元素之积。

利用二阶行列式的概念， $(2)$ 式中 $x_1,x_2$ 的分子也可以写成二阶行列式，即
$b_1a_{22} -a_{12}b_2 =\begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22} \end{vmatrix},\quad a_{11}b_2 -b_1a_{21} =\begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2 \end{vmatrix}.$
若记
$D = \begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}, \quad D_1 = \begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22} \end{vmatrix}, \quad D_2 = \begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2 \end{vmatrix},$
那么 $(2)$ 式可写成
$x_1 = \frac{D_1}{D} = \frac{\begin{vmatrix} b_1 & a_{12} \\ b_2 & a_{22} \end{vmatrix}}{\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}},\quad x_2 = \frac{D_2}{D} = \frac{\begin{vmatrix} a_{11} & b_1 \\ a_{21} & b_2 \end{vmatrix}}{\begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix}}$

这里的分母 $D$ 是由方程组 $(1)$ 的系数所确定的二阶行列式， $x_1$ 的分子 $D_1$ 是用常数项 $b_1,b_2$ 替换 $D$ 中 $x_1$ 的系数 $a_{11},a_{21}$ 所得的二阶行列式；

$x_2$ 的分子 $D_2$ 是用 $b_1,b_2$ 替换 $D$ 中 $x_2$ 的系数 $a_{12},a_{22}$ 所得的二阶行列式。

定义设有9个数排成3行3列的数表
$\begin{matrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{matrix}, \tag{5}$
记
$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix} = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} +a_{13}a_{21}a_{32} \\ \qquad\qquad\qquad\qquad- a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} - a_{13}a_{22}a_{31} \tag{6}$
式 $(6)$ 称为数表 $(5)$ 所确定的三阶行列式。

上述定义表面三阶行列式含6项，每项均为不同行不同列的三个元素的乘积再冠以正负号。

虽然三阶行列式也适用于对角线法则，为了研究四阶及更高阶行列式，下面先介绍有关全排列的知识。

逆序数

对于 $n$ 个不同的元素，在这 $n$ 个元素的任一排列中，当某两个元素的先后次序与标准次序(比如可规定由小到大为标准次序)不同时，就说有1个逆序。一个排列中所有逆序的总数叫做这个排列的逆序数。

逆序数为技术的排列叫做奇排列，逆序数为偶数的排列叫做偶排列。

设 $n$ 个元素为 $1$ 至 $n$ 这 $n$ 个自然数，并规定由小到大为标准次序。设
$p_1p_2\cdots p_n$
为这 $n$ 个自然数的一个排列，考虑元素 $p_i(i=1,2,\cdots,n)$ ，如果比 $p_i$ 大的且排在 $p_i$ 前面的元素有 $t_i$ 个，就说 $p_i$ 这个元素的逆序数是 $t_i$ 。全体元素的逆序数之总和
$t = t_1 + t_2 + \cdots + t_n = \sum_{t=1}^n t_i,$
即使这个排列的逆序数。

来看一个例子理解。

例求排列32514的逆序数

解在排列32514中：

3排在首位，逆序数为0
2的前面比2大的数有一个(3)，逆序数为1
5是最大数，逆序数为0
1的前面比1大的数有三个(3,2,5)，逆序数为3
4的前面比4大的数有一个(5)，逆序数为1，于是这个排列的逆序数为
$t = 0 + 1 + 0 +3 + 1 =5$

n阶行列式的定义

为了给出 $n$ 阶行列式的定义，先来研究三阶行列式的结构。三阶行列式定义为
$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix} = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} +a_{13}a_{21}a_{32} \\ \qquad\qquad\qquad\qquad- a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} - a_{13}a_{22}a_{31}$

容易看出：

上式右边的每一项都恰是三个元素的乘积，这三个元素位于不同的行、不同列。因此，上式右端的任一项除正负号外可以写成 $a_{1p_1}a_{2p_2}a_{3p_3}$ 。这里第一个下标(行标)排成标准次序123，而第二下标(列标)排成 $p_1p_2p_3$ ，它是1,2,3三个数的某个排列。这样的排列共有6中，对应上式右端共有6项。
各项的正负号与列标的排列对照
- 带正号的三项列标排列是123,231,312
- 带负号的三项列标排列是132,213,321

经计算可知前三个排列都是偶排列，后三个排列都是奇排列。因此各项所带的正负号可以表示为 $(-1)^t$ ，其中 $t$ 为列标排列的逆序数。

总之，三阶行列式可以写成
$\begin{vmatrix} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23}\\ a_{31} & a_{32} & a_{33}\\ \end{vmatrix} = \sum (-1)^t a_{1p_1}a_{2p_2}a_{3p_3},$
其中 $t$ 为排列 $p_1p_2p_3$ 的逆序数， $\sum$ 表示对1,2,3三个数的所有排列 $p_1p_2p_3$ 去和。

仿此，可以把行列式推广到一般情形。

定义设有 $n^2$ 个数，排成 $n$ 行 $n$ 列的数表
$\begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots &\cdots & \cdots & \cdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix},$
作出表中位于不同行不同列的 $n$ 个数的乘积，并冠以符号 $(-1)^t$ ，得到形如
$(-1)^t a_{1p_1}a_{2p_2}\cdots a_{np_n} \tag{7}$
的项，其中 $p_1p_2\cdots p_n$ 为自然数 $1,2,\cdots,n$ 的一个排列， $t$ 为这个排列的逆序数。

由于这样的排列共有 $n!$ 个，因为形如 $(7)$ 式的项共有 $n!$ 个。所有这 $n!$ 项的代数和
$\sum (-1)^t a_{1p_1}a_{2p_2} \cdots a_{np_n}$
称为 $n$ 阶行列式，记作
$D = \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots &\cdots & \cdots & \cdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix},$
简记作 $det(a_{ij})$ ，其中数 $a_{ij}$ 为行列式 $D$ 的 $(i,j)$ 元。

例5 证明 $n$ 阶行列式
$\begin{vmatrix} \lambda_1 & & & \\ & \lambda2 && \\ & & \ddots & \\ & & & \lambda_n\\ \end{vmatrix} = \lambda_1\lambda_2 \cdots \lambda_n, \\ \begin{vmatrix} & & &\lambda_1 \\ & &\lambda2& \\ & \cdots & & \\ \lambda_n & & & \\ \end{vmatrix} = (-1)^{\frac{n(n-1)}{2}} \lambda_1\lambda_2 \cdots \lambda_n$

其中为写出的元素都是0。

证第一式左端称为对角行列式，只能取不同行不同列，我们只考虑非零的情况。第 $1$ 行只能取第 $1$ 列，第二行只能取第 $2$ 列， $\cdots$ ,第 $n$ 行只能取第 $n$ 列，最终结果很显然。

第二式第 $1$ 行只能取第 $n$ 列，对应的是 $a_{1n}$ ，第 $2$ 行只能取第 $n-1$ 列，对应 $a_{2n-1}$ ， $\cdots$ ,第 $n$ 行只能取第 $1$ 列，对应 $a_{n1}$ 。

列标的排列为
$n(n-1)\cdots 2\,1$
所以，逆序数 $t$ 为
$t = 0 + 1 + 2 + \cdots + (n-1) = \frac{n(n-1)}{2}$
例6 证明下三角形行列式
$D = \begin{vmatrix} a_{11} & & & 0 \\ a_{21} & a_{22} && \\ \vdots & \vdots & \ddots & \\ a_{n1} & a_{n2} &\cdots & a_{nn}\\ \end{vmatrix} = a_{11}a_{22}\cdots a_{nn}.$
第 $1$ 行只能取第 $1$ 列，第二行只能取第 $2$ 列， $\cdots$ ,第 $n$ 行只能取第 $n$ 列，并且列标是
$12 \cdots n$
逆序数为 $0$ ， $(-1)^0=1$

所以结果就是其主对角线上的元素之积。

行列式的性质

记
$D = \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots &\vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix}, \quad D^T = \begin{vmatrix} a_{11} & a_{21} & \cdots & a_{n1}\\ a_{12} & a_{22} & \cdots & a_{n2}\\ \vdots &\vdots & & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{nn}\\ \end{vmatrix}$
行列式 $D^T$ 称为行列式 $D$ 的转置行列式。

性质1 行列式与它的转置行列式相等

性质2 互换行列式的两行(列)，行列式变号

推论如果行列式有两行(列)完全相同，则此行列式等于零

性质3 行列式的某一行(列)中所有的元素都乘以同一数 $k$ ，等于用数 $k$ 乘此行列式

推论行列式中某一行(列)的所有元素的公因子可以提到行列式记号的外面

性质4 行列式中如果有两行(列)元素成比例，则此行列式等于零

性质5 若行列式的某一列(行)的元素都是两数之和，例如第 $i$ 列的元素都是两数之和：
$D= \begin{vmatrix} a_{11} & a_{12} & \cdots & (a_{1i} + a_{1i}^\prime)& \cdots &a_{1n}\\ a_{21} & a_{22} & \cdots & (a_{2i} + a_{2i}^\prime)& \cdots &a_{2n}\\ \vdots & \vdots && \vdots& &\vdots\\ a_{n1} & a_{n2} & \cdots & (a_{ni} + a_{ni}^\prime)& \cdots &a_{nn}\\ \end{vmatrix},$
则 $D$ 等于下列两个行列式之和：
$D= \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1i}& \cdots &a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2i} & \cdots &a_{2n}\\ \vdots & \vdots && \vdots& &\vdots\\ a_{n1} & a_{n2} & \cdots & a_{ni}& \cdots &a_{nn}\\ \end{vmatrix} + \\ \qquad \qquad \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1i}^\prime& \cdots &a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2i}^\prime& \cdots &a_{2n}\\ \vdots & \vdots && \vdots& &\vdots\\ a_{n1} & a_{n2} & \cdots & a_{ni}^\prime& \cdots &a_{nn}\\ \end{vmatrix}.$
性质6 把行列式的某一列(行)的各元素乘以同一数然后加到另一列(行)对应的元素上去，行列式不变。

例如以数 $k$ 乘第 $j$ 列加到第 $i$ 列上(记作 $c_i + kc_j$ )，有
$\begin{vmatrix} a_{11} & \cdots& a_{1i} & \cdots & a_{1j}& \cdots &a_{1n}\\ a_{21} & \cdots& a_{2i} & \cdots & a_{2j}& \cdots &a_{2n}\\ \vdots & & \vdots & & \vdots & & \vdots\\ a_{n1} & \cdots& a_{ni} & \cdots & a_{nj}& \cdots &a_{nn}\\ \end{vmatrix} \\ \overset{c_i + kc_j}{=} \begin{vmatrix} a_{11} & \cdots& (a_{1i} + ka_{1j}) & \cdots & a_{1j}& \cdots &a_{1n}\\ a_{21} & \cdots& (a_{2i} + ka_{2j})& \cdots & a_{2j}& \cdots &a_{2n}\\ \vdots & & \vdots & & \vdots & & \vdots\\ a_{n1} & \cdots& (a_{ni} + ka_{nj})& \cdots & a_{nj}& \cdots &a_{nn}\\ \end{vmatrix} (i \neq j)$
(以数 $k$ 乘第 $j$ 行加到第 $i$ 行上，记作 $r_i + kr_j$ )

行列式按行(列)展开

一般来说，低阶行列式的计算比高阶行列式的计算要简便，于是，我们自然地考虑用低阶行列式来表示高阶行列式的问题。为此，先引入余子式和代数余子式的概念。

在 $n$ 阶行列式中，把 $(i,j)$ 元 $a_{ij}$ 所在的第 $i$ 行和第 $j$ 列划去后，留下来的 $n-1$ 阶行列式叫作 $(i,j)$ 元 $a_{ij}$ 的余子式，记作 $M_{ij}$ ；记
$A_{ij} = (-1)^{i+j}M_{ij},$
$A_{ij}$ 叫做 $(i,j)$ 元 $a_{ij}$ 的代数余子式。

例如四阶行列式
$D = \begin{vmatrix} a_{11} & a_{12} & a_{13} & a_{14}\\ a_{21} & a_{22} & a_{23} & a_{24}\\ a_{31} & a_{32} & a_{33} & a_{34}\\ a_{41} & a_{42} & a_{43} & a_{44}\\ \end{vmatrix}$
中 $(3,2)$ 元 $a_{32}$ 的余子式和代数余子式分别为
$M_{32} = \begin{vmatrix} a_{11} & a_{13} & a_{14}\\ a_{21} & a_{23} & a_{24}\\ a_{41} & a_{43} & a_{44}\\ \end{vmatrix}, \\ A_{32} = (-1)^{3+2} M_{32} = -M_{32}.$
引理一个 $n$ 阶行列式，如果其中第 $i$ 行所有元素除 $(i,j)$ 元 $a_{ij}$ 外都为零，那么这行列式等于 $a_{ij}$ 与它的代数余子式的乘积，即
$D = a_{ij}A_{ij}.$
定理3 行列式等于它的任一行(列)的各元素与其对应的代数余子式乘积之和，即
$D = a_{i1}A_{i1} + a_{i2}A_{i2} + \cdots +a_{in}A_{in} \quad (i=1,2,\cdots,n),\\ D = a_{1j}A_{1j} + a_{2j}A_{2j} + \cdots +a_{nj}A_{nj} \quad (j=1,2,\cdots,n)$
证
$D = \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ \vdots & \vdots & & \vdots\\ a_{i1} + 0 + \cdots + 0& 0 + a_{i2} + \cdots + 0 &\cdots & 0 + \cdots +0 + a_{in}\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn}\\ \end{vmatrix} \\ = \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ \vdots & \vdots & & \vdots \\ a_{i1} & 0 &\cdots & 0\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{vmatrix} + \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ \vdots & \vdots & & \vdots \\ 0 & a_{i2} &\cdots & 0\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{vmatrix} + \cdots + \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ \vdots & \vdots & & \vdots \\ 0 & 0 &\cdots & a_{in} \\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{vmatrix},$
根据引理，即得
$D = a_{i1}A_{i1} + a_{i2}A_{i2} + \cdots +a_{in}A_{in} \quad (i=1,2,\cdots,n)$
类似地，若按列证明，可得
$D = a_{1j}A_{1j} + a_{2j}A_{2j} + \cdots +a_{nj}A_{nj} \quad (j=1,2,\cdots,n).$
这个定理叫做行列式按行(列)展开法则。利用这一法则并结合行列式的性质，可以简化行列式的计算。

推论行列式的某一行(列)的元素与另一行(列)的对应元素的代数余子式乘积之和等于零。即
$a_{i1}A_{j1} + a_{i2}A_{j2} + \cdots+ a_{in}A_{jn} = 0,\quad i\neq j,\\ a_{1i}A_{1j} + a_{2i}A_{2j} + \cdots+ a_{ni}A_{nj} = 0,\quad i\neq j.$
证把行列式 $D=det(a_{ij})$ 按第 $j$ 行展开，有
$a_{j1}A_{j1} + a_{j2}A_{j2} + \cdots+ a_{jn}A_{jn} =\begin{vmatrix} a_{11} & \cdots & a_{1n}\\ \vdots & & \vdots \\ a_{i1} & \cdots & a_{in}\\ \vdots & & \vdots \\ a_{j1} & \cdots & a_{jn}\\ \vdots & & \vdots \\ a_{n1} & \cdots & a_{nn}\\ \end{vmatrix},$
在上式中把 $a_{jk}$ 换成 $a_{ik}(k=1,\cdots,n)$ ，可得
$a_{i1}A_{j1} + a_{i2}A_{j2} + \cdots+ a_{in}A_{jn} =\begin{vmatrix} a_{11} & \cdots & a_{1n}\\ \vdots & & \vdots \\ a_{i1} & \cdots & a_{in} (i\text{行})\\ \vdots & & \vdots \\ a_{i1} & \cdots & a_{in}(j\text{行})\\ \vdots & & \vdots \\ a_{n1} & \cdots & a_{nn}\\ \end{vmatrix}$
当 $i\neq j$ 时，上式右端行列式中有两行对应元素相同，故行列式为零，即得
$a_{i1}A_{j1} + a_{i2}A_{j2} + \cdots+ a_{in}A_{jn} = 0,\quad i\neq j.$
上述证法如按列进行，可得
$a_{1i}A_{1j} + a_{2i}A_{2j} + \cdots+ a_{ni}A_{nj} = 0,\quad i\neq j.$

克拉默法则

又译为克莱姆法则。

含有 $n$ 个未知数 $x_1,x_2,\cdots,x_n$ 的 $n$ 个线性方程的方程组
$\begin{cases} a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n= b_1, \\ a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n= b_2, \\ \cdots \\ a_{n1}x_1 + a_{n2}x_2 + \cdots + a_{nn}x_n= b_n, \\ \end{cases} \tag{8}$
与二、三元线性方程组类似，它的解可以用 $n$ 阶行列式表示，即有

克拉默法则 如果线性方程组 $(8)$ 的系数行列式不等于零，即
$D =\begin{vmatrix} a_{11} & \cdots & a_{1n}\\ \vdots & & \vdots \\ a_{n1} & \cdots & a_{nn}\\ \end{vmatrix} \neq 0,$
那么，方程组 $(11)$ 有唯一解
$x_1 = \frac{D_1}{D}, \quad x_2 = \frac{D_2}{D}, \quad x_n = \frac{D_n}{D}, \tag{9}$
其中 $D_j(j=1,2,\cdots,n)$ 是把系数行列式 $D$ 中第 $j$ 列的元素用方程组右端的常数项代替后得到的 $n$ 阶行列式，即
$D_j =\begin{vmatrix} a_{11} &\cdots &a_{1,j-1}& b_1 & a_{1,j+1}&\cdots & a_{1n}\\ \vdots & &\vdots& \vdots & \vdots& & \vdots\\ a_{n1} &\cdots &a_{n,j-1}& b_n & a_{n,j+1}&\cdots & a_{nn} \end{vmatrix}.$
定理4 如果线性方程组 $(8)$ 的系数行列式 $D \neq 0$ ，则 $(8)$ 一定有解，且解是唯一的。

该定理的逆否定理为
定理4' 如果线性方程组 $(8)$ 无解或有两个不同的解，则它的系数行列式比为零。

线性方程组 $(8)$ 右端的常数项 $b_1,b_2,\cdots,b_n$ 全为零时，线性方程组 $(8)$ 叫做齐次线性方程组。

对于齐次线性方程组
$\begin{cases} a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n= 0, \\ a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n= 0, \\ \cdots \\ a_{n1}x_1 + a_{n2}x_2 + \cdots + a_{nn}x_n= 0, \\ \end{cases} \tag{10}$
$x_1=x_2=\cdots = x_n =0$ 一定是它的解，这个解叫做齐次线性方程组的零解。

如果一组不全为零的数是 $(10)$ 的解，则它叫做齐次线性方程组 $(10)$ 的非零解。

定理5 如果齐次线性方程组 $(10)$ 的系数行列式 $D \neq 0$ ，则齐次线性方程组 $(10)$ 没有非零解。

定理5' 如果齐次线性方程组 $(10)$ 有非零解，则它的系数行列式必为零。

矩阵

矩阵是一个按照长方阵列排列的复数或实数集合。
由 $m × n$ 个数组成的一个 $m$ 行 $n$ 列的矩形表格。如图所示：

$A = \left[ \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{matrix} \right]$

称为 $m$ 行 $n$ 列矩阵，简称 $m \times n$ 矩阵。

这个 $m \times n$ 个数称为矩阵 $A$ 的元素，简称为元，数 $a_{ij}$ 位于矩阵 $A$ 的第 $i$ 行第 $j$ 列，称为矩阵 $A$ 的 $(i,j)$ 元。

以数 $a_{ij}$ 为 $(i,j)$ 元的矩阵可简记作 $(a_{ij})$ 或 $(a_{ij})_{m \times n}$ ， $m \times n$ 矩阵 $A$ 也记作 $A_{m \times n}$ 。

行数与列数都等于 $n$ 的矩阵称为 $n$ 阶矩阵或 $n$ 阶方阵。

元素都是零的矩阵称为零矩阵，记作 $O$ 。

$n$ 个变量 $x_1,x_2,\cdots,x_n$ 与 $m$ 个变量 $y_1,y_2,\cdots,y_m$ 之间的关系式
$\begin{cases} y_1= a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n, \\ y_2= a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n, \\ \cdots \\ y_m= a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n \\ \end{cases} \tag{2}$
表示从一个变量 $x_1,x_2,\cdots,x_n$ 与到变量 $y_1,y_2,\cdots,y_m$ 的线性变换，其中 $a_{ij}$ 为常数。线性变换 $(2)$ 的系数 $a_{ij}$ 构成矩阵 $A = (a_{ij})_{m \times n}$ ，称为系数矩阵。

矩阵的基本运算

两个矩阵的行数和列数分别相等，称它们为同型矩阵。

加法

矩阵的加法只能在两个同型矩阵之间进行，两个矩阵相加时，对应元素进行相加。

如：

$\left[ \begin{matrix} 1 & 2 & 3\\ 4 & 5 & 7 \end{matrix} \right] + \left[ \begin{matrix} 0 & 0 & 2\\ 2 & 1 & 3 \end{matrix} \right] = \left[ \begin{matrix} 1 & 2 & 5\\ 6 & 6 & 10 \end{matrix} \right]$

数乘

数 $\lambda$ 与矩阵 $A$ 的乘积记作 $\lambda A$ 或 $A\lambda$ ，规定为

$\lambda A = A\lambda = \left[ \begin{matrix} \lambda a_{11} & \lambda a_{12} & \cdots & \lambda a_{1n}\\ \lambda a_{21} & \lambda a_{22} & \cdots & \lambda a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \lambda a_{m1} & \lambda a_{m2} & \cdots & \lambda a_{mn} \end{matrix} \right]$

乘法

必须满足矩阵 $A$ 的列数与矩阵 $B$ 的行数相等，或者矩阵 $A$ 的行数与矩阵 $B$ 的列数相等。

记 $C=AB$ ，矩阵 $C$ 的第 $i$ 行第 $j$ 列的元素等于矩阵 $A$ 的第 $i$ 行的所有元素与矩阵 $B$ 的第 $j$ 列的对应元素的乘积之和，即：
$C_{ij} = \sum_{k=1}^na_{ik}b_{kj}$
如：

$\left[ \begin{matrix} 1 & 2 & 3 \end{matrix} \right] _{1×3} \left[ \begin{matrix} 4 \\ 5 \\6 \end{matrix} \right]_{3×1} = 1×4 + 2×5 + 3×6 =32$

$\left[ \begin{matrix} 1 \\ 2 \\3 \end{matrix} \right]_{3×1} \left[ \begin{matrix} 4 & 5 & 6 \end{matrix} \right] _{1×3} = \left[ \begin{matrix} 4 & 5 & 6\\ 8 & 10 & 12\\12 & 15 & 18 \end{matrix} \right]_{3×3}$

矩阵的乘法不满足交换律，但仍然满足结合律和分配律：

$(AB)C = A(BC)$
$\lambda (AB) = (\lambda A)B = A(\lambda B) \quad (其中\lambda为实数)$
$A(B+C) = AB + AC,\quad (B+C)A = BA +CA$

转置

矩阵 $A$ 的转置矩阵，记作 $A^T$ ，是将 $A$ 的行列互换后所得矩阵，如果 $A$ 是一个 $m ×n$ 阶矩阵， $A^T$ 是一个 $n×m$ 阶矩阵。

$A = \left[ \begin{matrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{matrix} \right] A^T = \left[ \begin{matrix} 1 & 2 & 3\\ 4 & 5 & 6 \end{matrix} \right]$

矩阵的转置的性质：

$(A^T)^T = A$
$(A+B)^T = A^T +B^T$
$(\lambda A)^T=\lambda A^T$
$(AB)^T = B^TA^T$

对称矩阵

定义一个 $n \times n$ 的矩阵 $A$ ，若满足 $A^T =A$ ，则称 $A$ 为对称矩阵(symmetric matrix)，简称对称阵。其特点为：它的元素以对角线为对称轴对应相等。

例设列矩阵 $X=(x_1,x_2,\cdots,x_n)^T$ 满足 $X^TX=1$ ， $E$ 为 $n$ 阶单位阵， $H = E - 2XX^T$ ，证明 $H$ 是对称阵，且 $HH^T=E$ 。

注意： $X^TX$ = $x_1^2 + x_2^2 + \cdots + x_n^2$ 是一阶方阵，也就是一个数，而 $XX^T$ 是 $n$ 阶方阵。

证
$\begin{aligned} H^T &= (E - 2XX^T)^T \\ &=E^T -2(XX^T)^T \\ &= E - 2XX^T = H \end{aligned}$
所以 $H$ 是对称阵。
$\begin{aligned} HH^T &= H^2 = (E -2XX^T)^2 \\ &= E - 4XX^T + 4(XX^T)(XX^T) \\ &= E - 4XX^T + 4X(X^TX)X^T \\ &= E - 4XX^T + 4XX^T = E \end{aligned}$

单位矩阵

如同数1位实数乘法中的单位元一样，也存在一个特殊矩阵 $E$ 是矩阵乘法中的单位元，即
$EA = AE = A$
对任意 $n \times n$ 的矩阵 $A$ 都成立。

定义 $n \times n$ 的单位矩阵为矩阵 $E = (\delta_{ij})$ ，其中
$\delta_{ij} = \left\{ \begin{array}{lr} 1 & 当 \,\, i =j\\ 0 & 当 \,\, i \neq j \end{array} \right.$

即主对角元素均为 $1$ ，其他元素均为 $0$ 的 $n \times n$ 矩阵。

一般地，若 $B$ 为任一 $m \times n$ 矩阵，且 $C$ 为任一 $n \times r$ 矩阵，则
$BE = B \,\,\,\, \text{且} \,\,\,\, EC = C$

$n \times n$ 单位矩阵 $E$ 的列向量为用于定义 $n$ 维欧几里得坐标空间的标准向量。 $E$ 的第 $j$ 列向量的标准记号为 $e_j$ 。因此， $n \times n$ 单位矩阵可写为
$E = (e_1,e_2,\cdots,e_n)$

矩阵的迹

$n$ 阶方阵 $A$ 的迹(trace)记作 $tr(A)$ ，是对角元素之和：
$tr(A) = a_{11} + a_{22} + \cdots + a_{nn} = \sum_{i=1}^n a_{ii}$

性质：：

迹是所有特征值的和
$tr(AB)=tr(BA)$
若矩阵 $A$ 与矩阵 $B$ 相似，则 $tr(A)=tr(B)$

共轭矩阵

首先回顾下复数的概念，复数是实数的延伸，它使任意多项式方程都有跟。复数当中有个虚数单位 $i$ ，它是 $-1$ 的一个平方根，即 $i^2=-1$ 。

任一复数都可以表达为 $a+bi$ ，其中 $a$ 及 $b$ 皆为实数，分别称为复数的实部和虚部。

复数 $z = a+bi$ 的模为 $|z| = \sqrt{a^2 +b^2}$ 。

$z = a+bi$ 的共轭复数定义为 $z = a-bi$ ，即两个实部相等，虚部互为相反数。记作 $\overline{z}$ 。有

$\overline{z+w} = \overline{z} + \overline{w}$
$\overline{zw}=\overline{z}\cdot \overline{w}$
$\overline{\left( \frac{z}{w} \right)}=\frac{\overline{z}}{\overline{w}}$
$\overline{\overline{z}}=z$
$\overline{z} =z \quad 当且仅当z是实数$
$|z|^2 = z \overline{z}$

当虚部不为零时，共轭复数就是实部相等，虚部相反；

如果虚部为零，其共轭复数就是自身。即实数的共轭复数就是自身。

当 $A=(a_{ij})$ 为复矩阵时，用 $\overline{a}_{ij}$ 表示 $a_{ij}$ 的共轭复数，记
$\overline{A} = (\overline{a}_{ij}),$
$\overline{A}$ 称为 $A$ 的共轭矩阵。

共轭矩阵满足下述运算规律( $A,B$ 为复矩阵， $\lambda$ 为复数)：

$\overline{A+B}=\overline{A} + \overline{B}$
$\overline{\lambda A} = \overline{\lambda} \overline{A}$
$\overline{AB}=\overline{A}\overline{B}$

埃尔米特矩阵

$A$ 的共轭矩阵 $\overline{A}$ 的转置记为 $A^H$ 。

定义若一个矩阵 $A$ 满足 $A =A^H$ ，则称它为埃尔米特矩阵(Hermitian)。

矩阵的逆

方阵的行列式

定义6 由 $n$ 阶方阵 $A$ 的元素所构成的行列式，称为方阵 $A$ 的行列式，记作 $|A|$ 或 $det A$ 。

由 $A$ 确定 $|A|$ 的这个运算满足下述运算规律(设 $A,B$ 为 $n$ 阶方阵， $\lambda$ 为数)：

$|A^T|=|A|$ （行列式性质1）
$|\lambda A| = \lambda^n |A|$
$|AB| = |A||B|$

行列式 $|A|$ 的各个元素的代数余子式 $A_{ij}$ 所构成的如下的矩阵（注意是转置排法）
$A^* =\begin{pmatrix} A_{11} &A_{21} & \cdots & A_{n1}\\ A_{12} &A_{22} & \cdots & A_{n2}\\ \vdots &\vdots && \vdots \\ A_{1n} &A_{2n} & \cdots & A_{nn}\\ \end{pmatrix} ,$
称为矩阵 $A$ 的伴随矩阵，简称伴随阵。

试证
$AA^* = A^*A = |A|E$
证
$AA^* =\begin{pmatrix} a_{11} &a_{12} & \cdots & a_{1n}\\ a_{21} &a_{22} & \cdots & a_{2n}\\ \vdots &\vdots && \vdots \\ a_{n1} &a_{n2} & \cdots & a_{nn}\\ \end{pmatrix} \begin{pmatrix} A_{11} &A_{21} & \cdots & A_{n1}\\ A_{12} &A_{22} & \cdots & A_{n2}\\ \vdots &\vdots && \vdots \\ A_{1n} &A_{2n} & \cdots & A_{nn}\\ \end{pmatrix} = \begin{pmatrix} |A| & & & \\ &|A| & & \\ & &\ddots& \\ & & & |A|\\ \end{pmatrix} = |A| E$

逆矩阵

设 $A$ 为 $n$ 阶方阵( $n×n$ )，若存在 $n$ 阶方阵 $B$ 使得: $AB=BA=E$ ，则称 $A$ 是可逆的(或==非奇异的==)且矩阵 $B$ 是矩阵 $A$ 的逆矩阵，记为 $A^{-1} = B$ 。
矩阵 $B$ 称为 $A$ 的逆矩阵，简称逆阵。

若 $B$ 和 $C$ 均为 $A$ 的逆矩阵，则
$B = BE= B(AC) = (BA)C = EC = C$
因此一个矩阵最多有一个逆矩阵。

定理1 若矩阵 $A$ 可逆，则 $|A| \neq 0$

证 $A$ 可逆，即有 $A^{-1}$ ，使 $AA^{-1}=E$ 。故 $|A|\cdot |A^{-1}| = |E| =1$ ，所以 $|A| \neq 0$ 。

定理2 若 $|A| \neq 0$ ，则矩阵 $A$ 可逆，且
$A^{-1} = \frac{1}{|A|}A^* \tag{1}$
其中 $A^*$ 为矩阵 $A$ 的伴随阵。

证

我们已知
$AA^* = A^*A = |A|E$
因为 $|A| \neq 0$ ，(等式两边同时乘以 $\frac{1}{|A|}$ )故有
$A\frac{1}{|A|} A^* = \frac{1}{|A|}A^*A =E,$
所以，按逆矩阵的定义，即知 $A$ 可逆，且
$A^{-1}= \frac{1}{|A|}A^*.$

当 $|A|=0$ 时， $A$ 称为奇异矩阵，否则称非奇异矩阵。由上面两定理可知： $A$ 是可逆矩阵的充分必要条件是 $|A| \neq 0$ ，即可逆矩阵就是非奇异矩阵。

由定理2，可得下述推论。

推论若 $AB=E$ (或 $BA=E$ )，则 $B=A^{-1}$ 。

证 $|A|\cdot |B| =|E| = 1$ ，故 $|A| \neq 0$ ，因而 $A^{-1}$ 存在，于是
$B = EB = (A^{-1}A)B = A^{-1}(AB) = A^{-1}E = A^{-1}。$
方阵的逆阵满足下述运算规律：

若 $A$ 可逆，则 $A^{-1}$ 亦可逆，且 $(A^{-1})^{-1}=A$
若 $A$ 可逆，数 $\lambda \neq 0$ ，则 $\lambda A$ 可逆，且 $(\lambda A)^{-1}= \frac{1}{\lambda}A^{-1}$
若 $A,B$ 为同阶矩阵且均可逆，则 $AB$ 亦可逆，且
$(AB)^{-1} = B^{-1}A^{-1}$
证 $(AB)(B^{-1}A^{-1}) = A(BB^{-1})A^{-1}=AA^{-1} =E$ ，即有 $(AB)^{-1}=B^{-1}A^{-1}$ 。
若 $A$ 可逆，则 $A^T$ 亦可逆，且 $(A^T)^{-1}= (A^{-1})^T$

证 $A^T(A^{-1})^T=(A^{-1}A)^T=E^T=E$

矩阵的秩

矩阵的初等变换

为了引进矩阵的初等变换，先来分析用消元法解线性方程组的例子。

引例求解线性方程组

image-20210713135745673

image-20210713135801187

在上述消元过程中，始终把方程组看作一个整体。其中用到三种变换，即：交换方程次序(如 $(B_1)\text{中}①\leftrightarrow ②$ )；以不等于0的数乘某个方程(如 $(B_3)中②\times \frac{1}{2}$ )；一个方程加上另一个方程的 $k$ 倍(如 $(B_2)中③-2①$ )。

由于这三种变换都是可逆的，因此变换前的方程组与变换后的方程组是同解的。

在上述变换过程中，实际上只对方程组的系数和常数进行运算，未知数并未参与运算。因此，若记方程组 $(1)$ 的增广矩阵为
$B =(A,b) =\begin{pmatrix} 2 &-1 & -1 & 1 &2\\ 1 &1 & -2 & 1 &4\\ 4 &-6 &2& -2 &4 \\ 3 &6 & -9 & 7 & 9\\ \end{pmatrix},$
那么上述对方程组的变换完全可以转换为对矩阵 $B$ 的变换。把方程组的上述三种同解变换移植到矩阵上，就得到句子的三种初等变换。

定义1 下面三种变换称为矩阵的初等行变换：

对调两行(对调 $i,j$ 两行，记作 $r_i \leftrightarrow r_j$ )
以数 $k \neq0$ 乘某一行中的所有元素(第 $i$ 行乘 $k$ ，记作 $r_i \times k$ )
把某一行所有元素的 $k$ 倍加到另一行对应的元素上去(第 $j$ 行的 $k$ 倍加到第 $i$ 行上，记作 $r_i+kr_j$ )

把定义中的“行”换成“列”，即得矩阵的初等列变换的定义。

矩阵的初等行变换与初等列变换，统称为初等变换。

显然，三种初等变换都是可逆的(操作)，且其逆变换是同一类型的初等变换；

变换 $r_i \leftrightarrow r_j$ 的逆变换就是其本身；
变换 $r_i \times k$ 的逆变换为 $r_i \times \left(\frac{1}{k}\right)$ (或记作 $r_i \div k$ )
变换 $r_i + kr_j$ 的逆变换为 $r_i + (-k)r_j$ (或记作 $r_i - kr_j$ )

如果矩阵 $A$ 经过有限次初等行变换变成矩阵 $B$ ，就称矩阵 $A$ 与 $B$ 行等价，记作 $A\overset{r}{\sim}B$ ；

如果矩阵 $A$ 经过有限次初等列变换变成矩阵 $B$ ，就称矩阵 $A$ 与 $B$ 列等价，记作 $A\overset{c}{\sim}B$ ；

如果矩阵 $A$ 经过有限次初等变换变成矩阵 $B$ ，就称为矩阵 $A$ 与 $B$ 等价，记作 $A \sim B$ 。

矩阵之间的等价关系具有下列性质：

反身性 $A \sim A$
对称性若 $A \sim B$ ，则 $B \sim A$
传递性若 $A \sim B, B \sim C$ ，则 $A \sim C$

下面用矩阵的初等行变换来解方程组 $(1)$ ，其过程可与方程组 $(1)$ 的消元过程一一对照。

image-20210713143030393

image-20210713143040851

image-20210713143056557

矩阵 $B_4$ 和 $B_5$ 都称为行阶梯形矩阵，其特点是：

可画出一条阶梯线，线的下方全为0；

每个台阶只有一行，台阶数即使非零行的行数；

阶梯线的竖线后面的一个元素为非零元，也就是非零行的第一个非零元；

行阶梯形矩阵 $B_5$ 还称为行最简形矩阵，其特点是：非零行的第一个非零元为 $1$ ，且这些非零元所在的列的其他元素都为 $0$ 。

对于任何矩阵 $A_{m \times n}$ ，总可经过有限次初等行变换把它变为行阶梯形矩阵和行最简形矩阵。

对行最简形矩阵再施以初等列变换，可变成一种形状更简单的矩阵，称为标准形，例如：

image-20210713143608931

矩阵 $F$ 称为矩阵 $B$ 的标准形，其特点是： $F$ 的左上角是一个单位矩阵，其余元素全为 $0$ 。

对于 $m \times n$ 矩阵 $A$ ，总可经过初等变换(行变换或列变换)把它化为标准形
$F = \begin{pmatrix} E_r & O \\ O & O \\ \end{pmatrix} _{m \times n}$

此标准形由 $m,n,r$ 三个数完全确定，其中 $r$ 就是行阶梯形矩阵中非零行的行数。

定理1 设 $A$ 与 $B$ 为 $m \times n$ 矩阵，那么：

$A \overset{r}{\sim} B$ 的充要条件是存在 $m$ 阶可逆矩阵 $P$ ；使 $PA=B$ ;
$A \overset{c}{\sim} B$ 的充要条件是存在 $n$ 阶可逆矩阵 $Q$ ；使 $AQ=B$ ;
$A \sim B$ 的充要条件是存在 $m$ 阶可逆矩阵 $P$ 及 $n$ 阶可逆矩阵 $Q$ ，使 $PAQ=B$ 。

为了证明这个定理，我们引进初等矩阵的知识。

定义2 由单位阵 $E$ 经过一次初等变换得到的矩阵称为初等矩阵。

三种初等变换对应有三种初等矩阵。

(1) 把单位阵中第 $i,j$ 两行对调(或两列对调)，得初等矩阵

image-20210713151049997

用 $m$ 阶初等矩阵 $E_m(i,j)$ 左乘矩阵 $A=(a_{ij})_{m \times n}$ ，得

image-20210713151314992

其结果相当于对矩阵 $A$ 施行第一种初等行变换。

$|E(i,j)| = -1 \neq 0$ ，所以是可逆的。因为 $|E|=1$ ，对 $E$ 交换两行或两列，行列式变号。

(2)以数 $k \neq 0$ 乘单位阵的第 $i$ 行(或第 $i$ 列)，得初等矩阵

image-20210713151532486

可以验知：以 $E_m(i(k))$ 左乘矩阵 $A$ ，其结果相当于以数 $k$ 乘 $A$ 的第 $i$ 行 $(r_i \times k)$ ；

行列式某行乘以某个数 $k$ ，等于用 $k$ 乘以此行列式，所以行列式不为零，可逆。

或因此矩阵是对角矩阵，行列式为 $1 \times 1 \cdots \times k \cdots \times 1 = k$ 。

(3) 以 $k$ 乘 $E$ 的第 $j$ 行加到第 $i$ 行上或以 $k$ 乘 $E$ 的第 $i$ 列加到第 $j$ 列上，得初等矩阵

image-20210713151729864

可以验知：以 $E_m(ij(k))$ 左乘矩阵 $A$ ，其结果相当于把 $A$ 的第 $j$ 行乘 $k$ 加到第 $i$ 行 $(r_i+kr_j)$ 。

得到的矩阵的行列式还是为 $1 \neq 0$ ，所以可逆。

归纳上面的讨论，可得

性质1 设 $A$ 是一个 $m \times n$ 矩阵，对 $A$ 施行一次初等行变换，相当于在 $A$ 的左边乘以相应的 $m$ 阶初等矩阵；对 $A$ 施行一次初等列变换，相当于在 $A$ 的右边乘以相应的 $n$ 阶初等矩阵。

性质2 方阵 $A$ 可逆的充要条件是存在有限个初等矩阵 $P_1,P_2,\cdots,P_l$ ，使 $A = P_1P_2\cdots P_l$ 。

证先证充分性。设 $A = P_1P_2\cdots P_l$ ，因初等矩阵可逆，有限个可逆矩阵的乘积仍可逆，故 $A$ 可逆。

再证必要性设 $n$ 阶方阵 $A$ 可逆，且 $A$ 的标准形矩阵为 $F$ ，由于 $F \sim A$ ，知 $F$ 经过有限次初等变换可化为 $A$ ，即有初等矩阵 $P_1,P_2,\cdots,P_l$ ，使
$A = P_1 \cdots P_s FP_{s+1}\cdots P_l,$
因为 $A$ 可逆，所以 $|A| = |P_1|\cdot |P_2| \cdot \cdots |P_l| \neq 0$ ，所以 $|P_1| ,|P_2|,\cdots,|P_l|$ 都不等于零。

所以 $P_1,\cdots,P_l$ 也都可逆，故标准形矩阵 $F$ 可逆。假设
$F = \begin{pmatrix} E_r & O \\ O & O \\ \end{pmatrix} _{n \times n}$
中的 $r < n$ ，则 $|F| =0$ ，与 $F$ 可逆矛盾，因此必有 $r=n$ ，即 $F=E$ ，从而
$A=P_1P_2\cdots P_l.$

下面应用初等矩阵的知识来证明定理1。

定理1的证明

依据 $A\overset{r}{\sim}B$ 的定义和初等矩阵的性质，有
$\begin{aligned} A\overset{r}{\sim}B &\Leftrightarrow A经过有限次初等行变换变成B \\ &\Leftrightarrow 存在有限个m阶初等矩阵P_1,P_2,\cdots,P_l，使P_l\cdots P_2P_1A=B\\ &\Leftrightarrow 存在m阶可逆矩阵P，使PA=B. \end{aligned}$

类似可证明2. 3.

推论方阵 $A$ 可逆的充分必要条件是 $A\overset{r}{\sim}E$ 。

证 $A$ 可逆 $\Leftrightarrow$ 存可逆阵 $P$ (即 $A$ 的逆阵)，使 $PA=E$ ，所以 $A\overset{r}{\sim}E$ 。

定理1表明，如果 $A\overset{r}{\sim}B$ ，即 $A$ 经过一系列初等变换可以变为 $B$ ，则有可逆矩阵 $P$ ,使 $PA=B$ 。那么，如何求出这个可逆矩阵 $P$ ？

由于
$PA=B \Leftrightarrow \begin{cases} PA = B, \\ PE=P \end{cases} \Leftrightarrow P(A,E) = (B,P) \Leftrightarrow (A,E) \overset{r}{\sim} (B,P)$
因此，如果对矩阵 $(A,E)$ 作初等行变换，那么，当把 $A$ 变为 $B$ 时， $E$ 就变为 $P$ 。

于是就得到了求逆矩阵的一种新方法。

矩阵的秩

定义在 $m \times n$ 的矩阵 $A$ 中，任取 $k$ 行与 $k$ 列，位于这些行列交叉处的 $k^2$ 个元素，不改变它们在 $A$ 中所处的位置次序而得的 $k$ 阶行列式，称为矩阵 $A$ 的 $k$ 阶子式。

$m \times n$ 矩阵 $A$ 的 $k$ 阶子式共有 $C_m^k \cdot C_n^k$ 个。

定义设在矩阵 $A$ 中有一个不等于0的 $r$ 阶子式 $D$ ，且所有 $r+1$ 阶子式(如果存在的话)全等于0，那么 $D$ 称为矩阵 $A$ 的最高阶非零子式，数 $r$ 称为矩阵 $A$ 的秩，记作 $R(A)$ 。并规定零矩阵的秩等于0。

比如，我们上面知道，一个 $m \times n$ 矩阵 $A$ ，它的标准形
$\begin{pmatrix} E_r & O \\ O & O \\ \end{pmatrix} _{m \times n}$
由数 $r$ 完全确定，这个数就是 $A$ 的行阶梯形中非零行的行数，也就是矩阵 $A$ 的秩。

显然，若 $A$ 为 $m \times n$ 矩阵，则 $0 \leq R(A) \leq \min\{m,n\}$

由于行列式与其转置行列式相等，因此 $A^T$ 的子式与 $A$ 的子式对应相等，从而 $R(A^T) = R(A)$ 。

对于 $n$ 阶矩阵 $A$ ，由于 $A$ 的 $n$ 阶子式只有一个 $|A|$ ，故当 $|A| \neq 0$ 时 $R(A)=n$ ；
当 $|A| =0$ 时 $R(A) < n$ 。

可见可逆矩阵的秩等于矩阵的阶数，不可逆矩阵的秩小于矩阵的阶数。因此，可逆矩阵又称为满秩矩阵，不可逆矩阵(奇异矩阵)又称为降秩矩阵。

定理2 若 $A \sim B$ ，则 $R(A) = R(B)$ 。
推论若可逆矩阵 $P,Q$ 使 $PAQ = B$ ，则 $R(A) = R(B)$ 。

秩的性质

$0 \leq R(A_{m \times n}) \leq \min |m,n|$
$R(A^T) = R(A)$
若 $A \sim B$ ，则 $R(A) = R(B)$
若 $P$ 、 $Q$ 可逆，则 $R(PAQ) = R(A)$
- 特别第，当 $B=b$ 为非零列向量时，有
  $R(A) \leq R(A,b) \leq R(A) +1$
$R(A+B) \leq R(A) + R(B)$
$R(AB) \leq \min \{R(A),R(B) \}$
若 $A_{m \times n}B_{n \times l} = O$ ，则 $R(A) + R(B) \leq n$

线性方程组的解

设有 $n$ 个未知数 $m$ 个方程的线性方程组
$\begin{cases} a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n= b_1, \\ a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n= b_2, \\ \cdots \\ a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n= b_m, \\ \end{cases} \tag{3}$

$(3)$ 式可以写成以向量 $x$ 为未知元的向量方程
$Ax = b,$

定理3 $n$ 元线性方程组 $Ax=b$

无解的充分必要条件是 $R(A) < R(A,b)$ (即出现了 $0 = b$ 的情况，其中 $b \neq 0$ )
有唯一解的充分必要条件是 $R(A) = R(A,b) = n$
有无限多解的充分必要条件是 $R(A) = R(A,b) < n$

这里的 $n$ 是未知数的个数。

定理4 $n$ 元齐次线性方程组 $Ax =0$ 有非零解的充分必要条件是 $R(A) < n$
定理5 线性方程组 $Ax =b$ 有解的充分必要条件是 $R(A) = R(A,b)$

用克拉默法则来看的话，
如果 $A$ 是方阵， $Ax=0$ 有非零解的条件是， $|A| =0$ ，即 $R(A) < n$ 。

我们知道
逆矩阵存在 $\Leftrightarrow |A| \neq 0 \Leftrightarrow R(A) =n$

正交性

标量积

两个 $R^n$ 中的向量 $x$ 和 $y$ 可以看成是 $n \times 1$ 矩阵。构造矩阵乘积 $x^Ty$ 。这个乘积为一个 $1\times 1$ 矩阵，可看成是一个 $R^1$ 中的向量，或一个实数(标量)。

乘积 $x^Ty$ 称为 $x$ 和 $y$ 的标量积(scalar product)或内积。

$x^Ty = ||x||\,\, ||y|| \, cos \theta = \sum_{i=1}^n x_i y_i = \langle x,y \rangle$
如果 $x^Ty=0$ ，则称向量 $x$ 和 $y$ 为正交的。

内积空间

一个向量空间 $V$ 上的内积为 $V$ 上的运算，它将 $V$ 中的向量 $x$ 和 $y$ 与一个实数 $\langle x,y \rangle$ 关联，并满足下列条件：

$\langle x,y \rangle \geq 0$ ，等号成立的充要条件是 $x=0$
对 $V$ 中所有的 $x$ 和 $y$ ，有 $\langle x,y \rangle = \langle y,x \rangle$
对 $V$ 中所有的 $x,y,z$ 及所有的标量 $\alpha,\beta$ ，有 $\langle \alpha x + \beta y,z \rangle = \alpha \langle x,z \rangle + \beta \langle y,z \rangle$

一个定义了内积的向量空间 $V$ 称为内积空间。

正交集

定义令 $v_1,v_2,\cdots,v_n$ 为一内积空间 $V$ 中的非零向量。若 $i \neq j$ 时有 $\langle v_i, v_j \rangle = 0$ ，则 $\{v_1,v_2,\cdots,v_n\}$ 称为向量的==正交集==。

定理若 $\langle v_i, v_j \rangle = 0$ ，则 $\{v_1,v_2,\cdots,v_n\}$ 为一内积空间 $V$ 中非零向量的正交集，则 $v_1,v_2,\cdots,v_n$ 是线性无关的。

规范正交

定义 ==规范正交==的向量集合是单位向量的正交集。

集合 $\{u_1,u_2,\cdots, u_n\}$ 是规范正交集的充要条件为
$\langle u_i, u_j \rangle = \delta_{ij}$
其中
$\delta_{ij} = \left\{ \begin{array}{lr} 1 & 当 \,\, i =j\\ 0 & 当 \,\, i \neq j \end{array} \right.$

说的是集合中任意两个向量做内积结果为 $0$ 。

规范正交基

若 $B=\{u_1,u_2,\cdots, u_k\}$ 为一个内积空间 $V$ 中的规范正交集，则 $B$ 为子空间 $S=\text{Span}(u_1,u_2,\cdots, u_k)$ 的一组基。我们称 $B$ 为 $S$ 的一组==规范正交基==。

正交矩阵

定义若一个 $n \times n$ 矩阵 $Q$ 的列向量构成 $R^n$ 中的一组规范正交基，则称 $Q$ 为==正交矩阵==。

定理一个 $n \times n$ 矩阵 $Q$ 是正交矩阵的充要条件为 $Q^TQ=I$ 。
由定理可得，若 $Q$ 为一正交矩阵，则 $Q$ 可逆，且 $Q^{-1}=Q^T$ 。

性质若 $Q$ 为一个 $n \times n$ 的正交矩阵，则：

$Q$ 的列向量构成了 $R^n$ 的一组规范正交基
$Q^TQ=I$
$Q^T=Q^{-1}$
$\langle Qx, Qy \rangle = \langle x, y \rangle$
$||Qx||_2 = ||x||_2$

相似矩阵

向量的内积

定义1 设有 $n$ 为向量

$x = \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix}, \, y=\begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}$

令
$[x,y] =x_1y_1 + x_2y_2 + \cdots x_ny_n,$
$[x,y]$ 称为向量 $x$ 与 $y$ 的内积(内积也叫点积，也可表示为 $\langle x,y \rangle$ )。

内积是两个向量之间的一种运算，其结果是一个实数，用矩阵记号表示，当 $x$ 与 $y$ 都是列向量时，有
$[x,y] = x^Ty = y^T x$

内积具有下列性质(其中 $x,y,z$ 为 $n$ 维向量， $\lambda$ 为实数)：

$[x,y] = [y,x]$
$[\lambda x,y] = \lambda[x,y]$
$[x+y,z] = [x,z] + [y,z]$
当 $x=0$ 时， $[x,x]=0$ ；当 $x \neq 0$ 时， $[x,x] >0$

可以得到柯西不等式
$[x,y]^2 \leq [x,x][y,y]$

定义2 令
$||x|| =\sqrt{[x,]} = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2}$
$||x||$ 称为 $n$ 维向量 $x$ 的长度(或范数)。

当 $||x|| =1$ 时，称 $x$ 为单位向量。

向量的长度具有以下性质：

非负性当 $x \neq 0$ 时， $||x|| >0$ ；当 $x =0$ 时， $||x|| =0$
齐次性 $||\lambda x|| = |\lambda| ||x||$
三角不等式 $||x+y|| \leq ||x|| +||y||$

当 $[x,y]=0$ 时，称向量 $x$ 与 $y$ 正交。显然，若 $x=0$ ，则 $x$ 与任何向量都正交。

定理1 若 $n$ 维向量 $a_1,a_2,\cdots, a_r$ 是一组两两正交的非零向量，则 $a_1,a_2,\cdots, a_r$ 线性无关。

若向量 $a_1,a_2,a_3$ 线性无关，则它们互相不能用其他向量线性表示。

证设有 $\lambda_1,\lambda_2,\cdots,\lambda_r$ 使
$\lambda_1a_1 + \lambda_1a_2 + \cdots + \lambda_ra_r = 0,$
我们要证明 $\lambda_1 =\lambda_2 = \cdots \lambda_r = 0$ 。以 $a_1^T$ 左乘上式两端，当 $i \geq 2$ 时， $a_1^T a_i =0$ ，要使上式等于零，所以
$\lambda_1 a_1^T a_1 = 0$
因为 $a_1 \neq 0$ ，所以 $a_1^T a_1 \neq 0$ ，从而只能 $\lambda_1=0$ ，类似可以证明 $\lambda_2 =0,\cdots, \lambda_r =0$ 。

于是向量组 $a_1,a_2,\cdots, a_r$ 线性无关。

定义3 设 $n$ 维向量 $e_1,e_2,\cdots,e_r$ 是向量空间 $V$ 的一个基，如果 $e_1,e_2,\cdots,e_r$ 两两正交，且都是单位向量，则称 $e_1,e_2,\cdots,e_r$ 是 $V$ 的一个规范正交基。

若 $e_1,e_2,\cdots,e_r$ 是 $V$ 的一个规范正交基，那么 $V$ 中任意向量 $a$ 都能由 $e_1,e_2,\cdots,e_r$ 线性表示，设表示为

$a = \lambda_1 e_1 + \lambda_ 2e_2 + \cdots + \lambda_r e_r$

定义4 如果 $n$ 阶矩阵 $A$ 满足
$A^TA = E \qquad (\text{即}A^{-1}=A^T)$
那么称 $A$ 为正交矩阵，简称正交阵。

$A^TA=E \Rightarrow |A^T||A|=1 \Rightarrow A\text{可逆} \Rightarrow A^{-1}=A^T$

上式用 $A$ 的列向量表示，即是
$\begin{pmatrix} a_1^T \\ a_2^T \\ \vdots \\ a_n^T \end{pmatrix} (a_1,a_2,\cdots, a_n) =E,$
因为 $A^TA=E$ 与 $AA^T=E$ 等价，所以上述结论对 $A$ 的行向量亦成立。

由此可见， $n$ 阶正交阵 $A$ 的 $n$ 个列(行)向量构成向量空间 $R^n$ 的一个规范正交基。

方阵的特征值与特征向量

定义6 设 $A$ 是 $n$ 阶矩阵，如果数 $\lambda$ 和 $n$ 维非零列向量 $x$ 使关系式
$Ax =\lambda x \tag{1}$
成立，那么，这样的数 $\lambda$ 称为矩阵 $A$ 的特征值，非零向量 $x$ 称为 $A$ 的对应于特征值 $\lambda$ 的特征向量。

$(1)$ 式也可以写成
$(A - \lambda E)x = 0$
这是 $n$ 个未知数 $n$ 个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式
$|A - \lambda E| = 0,$
即
$\begin{vmatrix} a_{11} - \lambda & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} -\lambda & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} - \lambda\\ \end{vmatrix}= 0$

$R(A) = R(A,b) < n$ 无穷解

上式是以 $\lambda$ 为未知数的一元 $n$ 次方程，称为矩阵 $A$ 的特征方程。其左端 $|A - \lambda E|$ 是 $\lambda$ 的 $n$ 次多项式，记作 $f(\lambda)$ ，称为矩阵 $A$ 的特征多项式。

设 $n$ 阶矩阵 $A = (a_{ij})$ 的特征值为 $\lambda_1,\lambda_2,\cdots, \lambda_n$ ，有以下性质：

$\lambda_1 + \lambda_2 +\cdots + \lambda_n = a_{11} + a_{22} + \cdots +a_{nn}$
$\lambda_1\lambda_2 \cdots \lambda_n =|A|$

设 $\lambda = \lambda_i$ 为矩阵 $A$ 的一个特征值，则由方程
$(A - \lambda_iE)x = 0$
可求得非零解 $x = p_i$ ，那么 $p_i$ 便是 $A$ 的对应于特征值 $\lambda_i$ 的特征向量。

例设 $\lambda$ 是方阵 $A$ 的特征值，证明

$\lambda^2$ 是 $A^2$ 的特征值
当 $A$ 可逆时， $\frac{1}{\lambda}$ 是 $A^{-1}$ 的特征值。

证因 $\lambda$ 是 $A$ 的特征值，故有 $x \neq 0$ 使 $Ax= \lambda x$ 。于是
(1) $A^2 x = A(Ax) = A(\lambda x) = \lambda(A x) = \lambda^2 x$ ,
所以 $\lambda^2$ 是 $A^2$ 的特征值。
依此类推，不难证明：若 $\lambda$ 是 $A$ 的特征值，则 $\lambda^k$ 是 $A^k$ 的特征值。
(2) 当 $A$ 可逆时，由 $A x = \lambda x$ ，有 $x = \lambda A^{-1} x$ ，因 $x \neq 0$ ，知 $\lambda \neq 0$ ，故
$A^{-1} x = \frac{1}{\lambda} x，$
所以 $\frac{1}{\lambda}$ 是 $A^{-1}$ 的特征值。

定理2 设 $\lambda_1,\lambda_2,\cdots, \lambda_m$ 是方阵 $A$ 的 $m$ 个特征值， $p_1,p_2,\cdots, p_m$ 依次是与之对应的特征向量，如果 $\lambda_1,\lambda_2,\cdots, \lambda_m$ 各不相等，则 $p_1,p_2,\cdots, p_m$ 线性无关。

相似矩阵

定义7 设 $A,B$ 都是 $n$ 阶矩阵，若有可逆矩阵 $P$ ，使
$P^{-1}AP = B$
则称 $B$ 是 $A$ 的相似矩阵，或说矩阵 $A$ 与 $B$ 相似。对 $A$ 进行运算 $P^{-1}A$ 称为对 $A$ 进行相似变换。可逆矩阵 $P$ 称为把 $A$ 变成 $B$ 的相似变换矩阵。

定理3 若 $n$ 阶矩阵 $A$ 与 $B$ 相似，则 $A$ 与 $B$ 的特征多项式相同，从而 $A$ 与 $B$ 的特征值亦相同。
证因 $A$ 与 $B$ 相似，即有可逆矩阵 $P$ ,使 $P^{-1}AP=B$ ，故
$\begin{aligned} |B -\lambda E| &= |P^{-1}AP - \lambda P^{-1}P| \\ &=|P^{-1}(A-\lambda E)P| \\ &= |P^{-1}| \cdot |A - \lambda E|\cdot |P| \\ &= |A - \lambda E| \end{aligned}$

推论若 $n$ 阶矩阵 $A$ 与对角阵
$\Lambda= \begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & & \lambda_n\\ \end{bmatrix}$
相似，则 $\lambda_1,\lambda_2,\cdots,\lambda_n$ 即是 $A$ 的 $n$ 个特征值。

下面我们要讨论的主要问题是：对 $n$ 阶矩阵 $A$ ，寻求相似变换矩阵 $P$ ，使 $P^{-1}AP = \Lambda$ 为对角阵，这就称为把矩阵 $A$ 对角化。

假设已经找到可逆矩阵 $P$ ,使 $P^{-1}AP=\Lambda$ 为对角阵，我们来讨论 $P$ 应满足什么关系。

把 $P$ 用其列向量表示为
$P=(p_1,p_2,\cdots,p_n),$
由 $P^{-1}AP=\Lambda$ ，得 $AP=P\Lambda$ ，即
$\begin{aligned} A(p_1,p_2,\cdots,p_n) &= (p_1,p_2,\cdots,p_n)\begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & & \lambda_n\\ \end{bmatrix} \\ &= (\lambda_1p_1,\lambda_2p_2,\cdots, \lambda_np_n), \end{aligned}$
于是有
$Ap_i = \lambda_ip_i\qquad(i=1,2,\cdots,n).$
可见 $\lambda_i$ 是 $A$ 的特征值，而 $P$ 的列向量 $p_i$ 就是 $A$ 的对应于特征值 $\lambda_i$ 的特征向量。

定理4 $n$ 阶矩阵 $A$ 与对角阵相似(即 $A$ 能对角化)的充分必要条件是 $A$ 有 $n$ 个线性无关的特征向量。

联系定理2,得

对称矩阵的对角化

定理5 对称阵的特征值为实数

证设复数 $\lambda$ 为对称阵 $A$ 的特征值，复向量 $x$ 为对应的特征向量，即 $Ax=\lambda x,x \neq 0$ 。

用 $\overline{\lambda}$ 表示 $\lambda$ 的共轭复数， $\overline{x}$ 表示 $x$ 的共轭复向量，而 $A$ 为实矩阵，有 $A = \overline{A}$ ，故

$A\overline{x} = \overline{A}\overline{x} = (\overline{Ax}) = (\overline{\lambda x}) = \overline{\lambda}\overline{x}$ 。于是有
$\overline{x}^TAx = \overline{x}^T(Ax)=\overline{x}^T \lambda x=\lambda \overline{x}^T x,$

及
$\overline{x}^TAx = (\overline{x}^TA^T)x=(A\overline{x})^Tx=(\overline{\lambda}\overline{x})^Tx=\overline{\lambda}\overline{x}^Tx,$
两式相减，得
$(\lambda - \overline{\lambda})\overline{x}^Tx = 0,$
因 $x \neq 0$ ，所以
$\overline{x}^Tx=\sum_{i=1}\overline{x}_i x_i = \sum_{i=1} |x_i|^2 \neq 0,$
故 $\lambda -\overline{\lambda} =0$ ，即 $\lambda = \overline{\lambda}$ ，说明 $\lambda$ 是实数。

定理6 设 $\lambda_1,\lambda_2$ 是对称阵 $A$ 的两个特征值， $p_1,p_2$ 是对应的特征向量。若 $\lambda_1 \neq \lambda_2$ ，则 $p_1,p_2$ 正交。

证 $\lambda_1p_1 = Ap_1,\lambda_2p_2 = Ap_2,\lambda_1 \neq \lambda_2$ 。

因 $A$ 对称，故 $\lambda_1p_1^T=(\lambda_1p_1)^T=(Ap_1)^T=p_1^TA^T=p_1^TA$ ，于是
$\lambda_1p_1^Tp_2 = p_1^TAp_2=p_1^T(\lambda_2p_2)=\lambda_2p_1^Tp_2,$
即
$(\lambda_1 -\lambda_2)p_1^Tp_2 = 0.$
因为 $\lambda_1 \neq \lambda_2$ ，故 $p_1^Tp_2=0$ ,即 $p_1,p_2$ 正交。

定理7 设 $A$ 是 $n$ 阶对称阵，则必有正交阵 $P$ ，使 $P^{-1}AP=P^TAP=\Lambda$ ，其中 $\Lambda$ 是以 $A$ 的 $n$ 个特征值为对角元的对角阵。

推论设 $A$ 为 $n$ 阶对称阵， $\lambda$ 是 $A$ 的特征方程的 $k$ 重根，则矩阵 $A -\lambda E$ 的秩 $R(A -\lambda E)= n -k$ ，从而对应特征值 $\lambda$ 恰有 $k$ 个线性无关的特征向量。

二次型及其标准形

image-20210714170331942

image-20210714171542756

使二次型只含平方项，也就是用 $(7)$ 带入 $(5)$ ，能使
$f = k_1y^2_1 + k_2y_2^2 + \cdots + k_ny_n^2,$
这种只含平方项的二次型，称为二次型的标形型(或法式)。

如果标准形的系数 $k_1,k_2,\cdots,k_n$ 只在 $1,-1,0$ 三个数中取值，也就是用 $(7)$ 代入 $(5)$ ，能使
$f = y_1^2 + \cdots + y_p^2 - y^2_{p+1} - \cdots - y^2_r,$
则称上式为二次型的规范形。

image-20210714171630813

则二次型可记作
$f = x^TAx, \tag{8}$
其中 $A$ 为对称阵。

image-20210714171827882

image-20210714174147905

如果 $f(x) \geq 0$ ，则是半正定。

更新记录

2021-05-25 补充单位矩阵、奇异矩阵
2021-05-26 新增标准基、正交性
2021-05-27 新增特征值
2021-06-05 新增实对称矩阵定理
2021-06-19 新值行列式

参考

《线性代数》利昂著
《线性代数》同济大学第五版
维基百科

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 199,175评论 5赞 466
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 83,674评论 2赞 376
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 146,151评论 0赞 328
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 53,597评论 1赞 269
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 62,505评论 5赞 359
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 47,969评论 1赞 275
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,455评论 3赞 390
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,118评论 0赞 254
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,227评论 1赞 294
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,213评论 2赞 317
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,214评论 1赞 328
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 32,928评论 3赞 316
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,512评论 3赞 302
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,616评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,848评论 1赞 255
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,228评论 2赞 344
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 41,772评论 2赞 339

人工智能数学基础之线性代数(持续更新)

前言

标量

向量

向量的长度

向量的运算

向量的范数

向量的内积

向量组

向量空间

向量集合的张成

向量空间的基

标准基

行列式

行列式的引入

逆序数

n阶行列式的定义

行列式的性质

行列式按行(列)展开

克拉默法则

矩阵

矩阵的基本运算

加法

数乘

乘法

转置

对称矩阵

单位矩阵

矩阵的迹

共轭矩阵

埃尔米特矩阵

矩阵的逆

方阵的行列式

逆矩阵

矩阵的秩

矩阵的初等变换

矩阵的秩

线性方程组的解

正交性

标量积

内积空间

正交集

规范正交

规范正交基

正交矩阵

相似矩阵

向量的内积

方阵的特征值与特征向量

相似矩阵

对称矩阵的对角化

二次型及其标准形

更新记录

参考

推荐阅读更多精彩内容