线性代数学习总结-正交

概念

如果两个向量的点积等于0，那么则说这两个向量是正交的。（其实也就是垂直啦）

$v\cdot w=0\quad 或者\quad v^{T}w=0$

正交矩阵的性质有着很多实际的应用。首先从4个子空间之间的正交性开始吧。

子空间正交性

这里是接着子空间更进一步引述出的结论。

行空间垂直与零空间垂直

很明显，对于 $Ax=0$ 的情况下，矩阵 $A$ 的每一行都与 $x$ 垂直

列空间垂直与Left Null Space $N(A^{T})$ 垂直

与上面一致，对于 $A^{T}y=0$ 的情况下，矩阵 $A$ 的每一列都与 $y$ 垂直

Orthogonal Complements

对于一个子空间 $V$ 而言，它的正交补码包含每个与子空间 $V$ 垂直的向量，记作 $V^{\perp}$

投影

这里投影就是指一个向量在另一个向量、平面或其他什么东西上的映射，跟字面意思一样。
首先考虑最简单的情况，投影到一条直线跟投影到一个平面上，为了节约纸张，我画在一幅图里了

projection on line/plane

如图，向量 $b$ 在向量 $a$ 或者平面 $a$ 上的投影为 $P$ ，如何求出 $P$ 呢？

假设 $P = x'a\quad与P垂直的向量为e$
有 $e = b - P=b - x'a$
因为 $e$ 与 $a$ 垂直，有 $a\cdot e=a\cdot (b-x'a)=0$
可以得到 $x'=\frac{a^{T}b}{a^{T}a}\qquad P=x'a=\frac{a^{T}b}{a^{T}a}a$
对于平面而言，求解方法一致，得到 $x'=\frac{A^{T}b}{A^{T}A}\qquad P=Ax'=A(A^{T}A)^{-1}A^{T}b$
得解

注意不要随便乱消元哈，这不是自然数。

接着我们考虑一种更复杂的情况，映射到子空间。
假设给出 $n$ 个 $R^{m}$ 空间内的线性无关的向量组 $a_1, a_2,...a_n$ ，找出组合 $p=x'_1a_1+x'_2a_2+...x'_na_n$ ，使得它与向量 $b$ 的差值最小。
所谓差值最小，其实就是求 $b$ 先这个子空间的投影了。那么我们只需要找出投影矩阵就可以了

对于 $p=x'_1a_1+x'_2a_2+...x'_na_n$ 而言，因为 $b$ 的差值与 $a_i$ 是垂直的，有
$a_i^{T}(b-Ax')=0\quad即\quad\begin{bmatrix}a_1^{T}\\a_2^{T}\\...\\a_n^{T}\end{bmatrix}\begin{bmatrix}b-Ax'\\b-Ax'\\...\\b-Ax'\end{bmatrix} = 0$
得到 $A^{T}(b-Ax')=0 \quad \rightarrow \quad A^{T}Ax'=A^{T}b$
$p=Ax'=A(A^{T}A)^{-1}A^{T}b\quad 因此，投影矩阵为\quad P=A(A^{T}A)^{-1}A^{T}$

线性拟合

接下来的内容比较偏应用一点。对于方程 $Ax=b$ 无解是一种比较常见的情况，例如出现线性依赖等情况。在这种情况下，我们需要求出一个最优解，该怎么做呢？
所谓的最优解，就是该解与 $b$ 的差值的平方最小
是的，求投影就行了。如果差值的平方为0的话，则 $b$ 就等于 $Ax$ 。
如下图

Fitting a straight line

对于 $Ax=b\quad 可以表达为\quad C+D_{ti}=b_i\quad即\quad A=\begin{bmatrix}1&t_1\\1&t_2\\...&...\\1&t_n\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=b$
我们需要求出C和D，根据公式 $A^{T}Ax'=A^{T}b$ ，有 $A^{T}A=\begin{bmatrix}1&1&...&1\\t_1&t_2&...&t_m\end{bmatrix}\begin{bmatrix}1&t_1\\1&t_2\\...&...\\1&t_m\end{bmatrix}=\begin{bmatrix}m&\sum_{}t_i\\\sum_{}t_i&\sum_{}t_i^{2}\end{bmatrix}$
$A^{T}b=\begin{bmatrix}1&1&...&1\\t_1&t_2&...&t_m\end{bmatrix}\begin{bmatrix}b_1\\b_2\\...\\b_m\end{bmatrix}=\begin{bmatrix}\sum_{}b_i\\\sum_{}t_ib_i\end{bmatrix}$
那么当 $A^{T}Ax'=A^{T}b的时候，\left||Ax-b\right||^2=e_1^2+e_2^2+...+e_m^2最小$ ： $\begin{bmatrix}m&\sum_{}t_i\\\sum_{}t_i&\sum_{}t_i^{2}\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}\sum_{}b_i\\\sum_{}t_ib_i\end{bmatrix}$ 求出C、D，回代入公式，得解。

线性拟合在应用中有较多的使用。不过容易出现的问题就是干扰点，这些点离中心数据太远，极大的影响了结果。通常在应用中会选择剔除这些点。

正交基和Gram-Schmidt

上面的过程可以看到，在求解的时候是非常麻烦的，计算量很大。那么这里我们主要通过构造正交矩阵来减少运算量。
对于向量 $v_1,v_2,...v_n$ 而言，如果他们的点积 $d_i\cdot d_j=0(i\neq j)$ ，我们则说他们是正交的。如果向量的长度为1，那么我们则称之为正交单位向量，也叫标准正交。

$q_i^Tq_j=\begin{Bmatrix}0\quad when\quad i\neq j\quad (orthogonal\quad vectors)\\1\quad when\quad i= j\quad (unit\quad vectors:\left||q_i\right||=1)\end{Bmatrix}$

这样我们可以很轻松的求解，因为 $Q^{T}Q=I$ ，那么对于原来的公式 $A(A^{T}A)^{-1}A^{T}$ 而言，可以化简为 $AA^{T}$ ，极大的方便了运算。

那么如何将原来的矩阵 $A$ 变成正交单位矩阵 $Q$ 呢？
如图

transform

简单起见，从低维开始考虑，假设三维空间中，我们有向量组成的矩阵，如图所示，要将它变为正交矩阵其实就很简单了。

首先我们求出 $e$ ，用 $B$ 表示为 $B=b-\frac{A^{T}b}{A^{T}A}A$
其次，我们用 $c$ 减去其投影在 $B,a$ 上的分量，既得到垂直于 $B,a$ 平面的量了，如下图

c
得到 $C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$

则 $a,B,C$ 组成正交单位矩阵。

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 203,271评论 5赞 476
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,275评论 2赞 380
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,151评论 0赞 336
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,550评论 1赞 273
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,553评论 5赞 365
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,559评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,924评论 3赞 395
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,580评论 0赞 257
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,826评论 1赞 297
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,578评论 2赞 320
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,661评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,363评论 4赞 318
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,940评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,926评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,156评论 1赞 259
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,872评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,391评论 2赞 342

线性代数学习总结-正交

概念

子空间正交性

Orthogonal Complements

投影

线性拟合

正交基和Gram-Schmidt

推荐阅读更多精彩内容