第15课子空间投影

投影

想找到直线上离某点最近的一点。将 $b$ 投影到 $a$ ， $a$ 是一个一维空间，找到离线 $b$ 最近的点，该投影点为 $p$ ， $e$ 为 $b$ 与 $p$ 之间的误差，投影 $p$ 是 $a$ 的 $x$ 数，所以我们要找的就是 $x$ 。

正交条件式子（14-(1)：表示第14课第一个表达式）

投影

a垂直e得到如下方程：
$\begin{eqnarray} a^T\underbrace{(b-\overbrace{xa}^{p})}_e=0 \tag{1} \\ \rightarrow xa^Ta=a^Tb \tag{2} \\ \rightarrow x = \frac {a^Tb} {a^Ta} \tag{3} \\ p=ax \tag{4} \end{eqnarray}$

$(3)x$ 的表达式；

$(4)$ 映射的式子(投影)：投影 $p$ 是一个投影矩阵作用于随便某个向量
$p_点 = a\frac{a^Tb}{a^Ta} = \frac{aa^Tb}{a^Ta}= \frac{aa^T}{a^Ta}b = P_{matrix}b\\ P_m=\frac{aa^T}{a^Ta}$
$a^Ta$ 是一个数，即 $\vec{a}$ 长度的平方 $\|\vec {a}\|^2$

$aa^T$ 是一列乘一行是一个矩阵

$P_mb$ 属于 $P_m$ 的列空间到了 $a$ 这条线上

性质：

$P_m$ 的列空间，随便你用什么乘以这个矩阵，总会停在它的列空间里。用任何向量乘以这个矩阵，你总会得到在它列空间里的向量，这就是列空间的作用
$P_m$ 的秩是1，一列乘一行，得到一个秩为1的矩阵，这个列是空间的基
$P_m^T=P$ ，对称
$P_m^2=P_m$ ,投影2次的结果和投影一次的结果是一样的

为什么要投影

先说说为啥要这个投影，然后就会明白它究竟是个啥，最后运用它。

为什么要讲投影？
因为 $Ax=b$ 也许会无解，由于“坏数据”过多，只能求最接近那个问题的解。
然而哪个才是最接近的解呢？
$Ax$ 总是在 $A$ 的列空间里，而 $b$ 不一定在，这是问题所在。
我们要做微调 $b$ ，将它变成列空间中最接近它的那一个，
将问题换作求解，有解的 $A\hat{x}=p$ ， $p$ 是 $b$ 在列空间上的投影，这就是做投影的原因，因为必须找个解出来， $\hat{x}$ 不是那个不存在的 $x$ ，而是最接近解，找出最好的那个投影
列空间内最合适的右侧向量是什么，它必须很接近 $b$ ，然后就能求解了

三维空间里一平面，一个不在平面上的 $b$ 向量，将 $b$ 投影在平面上，平面的一组基 $a_1,a_2$ ，得到使 $b$ 投影到平面上最近点的公式

平面

平面是矩阵 $A$ 的列空间 $A=\begin{bmatrix}a_1&a_2\end{bmatrix}$ 。向量 $b$ ，通常不在列空间里，若 $b$ 在列空间里，投影结果就是 $b$ 自己，通常情况会有个误差向量 $e=b-p$ ，通常不为 $0$ ， $p=\hat{x}_1a_1+\hat{x}_2a_2=A\hat{X}$

投影 $p=A\hat{X}$ ，求 $\hat{X}$ ;

问题关键： $e=b-A\hat{X}$ ； $e$ 垂直平面， $e$ 垂直 $a_1$ ， $e$ 垂直 $a_2$
$\begin{eqnarray} a_1^Te=0 \rightarrow a_1^T(b-A\hat{X})=0 \tag{5} \\ a_2^Te=0 \rightarrow a_2^T(b-A\hat{X})=0 \tag{6} \\ \end{eqnarray}$
方程 $(5)$ 和 $(6)$ 表示成矩阵形式：
$\underbrace{\begin{bmatrix}a_1^T\\a_2^T\end{bmatrix}}_{A^T}(b-A\hat{X})= \begin{bmatrix}0\\0\end{bmatrix} \rightarrow A^T\underbrace{(b-A\hat{X})}_e = 0 \rightarrow A^TA\hat{X}=A^Tb$
$e$ 位于 $A^T$ 的零空间( $N(A^T)$ )， $e$ 垂直 $A$ 的列空间( $C(A)$ )

$\hat{X}$ 是什么？是方程的解
$\hat{X} = (A^TA)^{-1}A^Tb \tag{7}$
$p$ 投影是什么？
$p=A\hat{X}= A(A^TA)^{-1}A^Tb \tag{8}$
$P$ 投影矩阵是什么？
$P = A(A^TA)^{-1}A^T \tag{9}$
$(9)$ 式括号中的逆运算不能拆开，除非 $A$ 为可逆方阵 ,因此 $(9)$ 式为投影矩阵的唯一形式

三维投影矩阵 $P$ 的特性与一维是一样的

最小二乘拟合直线

点

点数据：

(1,1),(2,2),(3,2)

未知方程(拟合直线方程)
$b=c+Dt\tag{10}$
将点数据分别代入未知方程，得到如下3个方程：
$\begin{eqnarray} c+D=1 \\ c+2D=2 \\ c+3D=2 \\ \end{eqnarray}$
以下为方程的矩阵形式：
$\underbrace{\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}}_{A} \underbrace{\begin{bmatrix}c\\D\end{bmatrix}}_{X}= \underbrace{\begin{bmatrix}1\\2\\2\end{bmatrix}}_b$
$AX=b$ 无解，但同时两边乘以 $A^T$ ，得如下形式:

$A^TA\hat{X}=A^Tb \tag{11}$

$(10)$ 式可以求出最优解 $\hat{X}$ :
$\hat{X}=\begin{bmatrix}c\\D\end{bmatrix}$

$(10)$ 式左边得 $(12)$ 式：
$A^TA\hat{X}= \begin{bmatrix}1&1&1\\1&2&3\end{bmatrix} \begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} = \begin{bmatrix}3&6\\6&14\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} \tag{12}$

$(10)$ 式右边得 $(13)$ 式：
$A^Tb= \begin{bmatrix}1&1&1\\1&2&3\end{bmatrix} \begin{bmatrix}1\\2\\2\end{bmatrix} = \begin{bmatrix}5\\11\end{bmatrix} \tag{13}$

由 $(10)$ 式推出 $(12)=(13)$ ：
$\begin{bmatrix}3&6\\6&14\end{bmatrix} \begin{bmatrix}c\\D\end{bmatrix} = \begin{bmatrix}5\\11\end{bmatrix} \rightarrow \begin{cases} 3c+6D=5 \\ 6c+14D=11 \end{cases} \rightarrow \begin{cases} c=\frac{2}{3}\\ D=\frac{1}{2} \end{cases}$
将 $c$ 和 $D$ 代入 $(10)$ 式得最优直线:
$b=\frac{2}{3}+\frac{1}{2}t \tag{14}$

$\|AX-b\|^2=\|e\|^2=e_1^2+e_2^2+e_3^2$
$p_1,p_2,p_3$ 为线上的点，在列空间里，是矩阵 $A$ 列的一个组合

将 $t=1,2,3$ 代入方程 $(14)$ 得：
$p_1=\frac{7}{6},p_2=\frac{5}{3},p_3=\frac{13}{6}$

$e_1=-\frac{1}{6},e_2=\frac{2}{6},e_3=-\frac{1}{6}$
$\begin{cases} b_1=p_1+e_1\\ b_2=p_2+e_2\\ b_3=p_3+e_3 \end{cases} \rightarrow \underbrace{\begin{bmatrix}\frac{7}{6}\\\frac{5}{3}\\\frac{13}{6}\end{bmatrix}}_p + \underbrace{\begin{bmatrix}-\frac{1}{6}\\\frac{2}{6}\\-\frac{1}{6}\end{bmatrix}}_e= \underbrace{\begin{bmatrix}1\\2\\2\end{bmatrix}}_{b}$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 195,783评论 5赞 462
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 82,360评论 2赞 373
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 142,942评论 0赞 325
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 52,507评论 1赞 267
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 61,324评论 5赞 358
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 46,299评论 1赞 273
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 36,685评论 3赞 386
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 35,358评论 0赞 254
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 39,652评论 1赞 293
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 34,704评论 2赞 312
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 36,465评论 1赞 326
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 32,318评论 3赞 313
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 37,711评论 3赞 299
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 28,991评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,265评论 1赞 251
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 41,661评论 2赞 342
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 40,864评论 2赞 335

第15课 子空间投影

投影

为什么要投影

最小二乘拟合直线

推荐阅读更多精彩内容

第15课子空间投影