2.3.3 高斯变量的贝叶斯定理

贝叶斯定理： $P(AB) = P(B|A)P(A)$ ， $P(A|B)P(B)=P(B|A)P(A)$

已知
2.3.1 条件高斯分布： $p(y|x) = N(y|Ax+b, L^{-1})$
2.3.2 边缘高斯分布： $p(x) = N(x|\mu, \wedge^{-1})$

求 $x,y$ 联合分布的表达式，为此，定义
$z = \begin{bmatrix} {x}\\{y} \end{bmatrix}$

由(2.42),(2.43) 知 $-\frac{1}{2\sigma^{2}}(x-\mu)^2 在多维的推广为-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)$

考虑联合概率分布的对数

$\ln{p(z)} = \ln{p(x)} + \ln{p(y)} =-\frac{1}{2}(x-\mu)^{T}\wedge(x-\mu) - \frac{1}{2}(y-Ax-b)^{T}L(y-Ax-b) + C$
将最右边的式子展开后取得二次项的部分，可以写成
$-\frac{1}{2}x^T(\wedge+A^TLA)x -\frac{1}{2}y^TLy+\frac{1}{2}y^TLAx+\frac{1}{2}x^TA^TLy=-\frac{1}{2} \begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge+A^TLA}&{-A^TL}\\{-LA}&{L} \end{bmatrix} \begin{bmatrix} {x}\\{y} \end{bmatrix}=-\frac{1}{2}z^TRz$
所以 $z$ 上的高斯分布的精度矩阵(协方差的逆矩阵)为 $R$
$cov[z]=R^{-1}=\begin{bmatrix} {\wedge^{-1}}&{{\wedge}^{-1}A^T}\\{A\wedge^{-1}}&{L^{-1}+A\wedge^{-1}A^T} \end{bmatrix}$
上述 $cov[z]$ 为 $z$ 的方差

接下来求 $z$ 的均值
由（2.71）知 $-\frac{1}{2}(z-E[z])^T\Sigma^{-1}(z-E[z])=-\frac{1}{2}z^T\Sigma^{-1}z+z^T\Sigma^{-1}E[z]+C$

上面已将二次项部分求出得到方差 $\Sigma$ ，将上面展开后的式子为取出的一次项用来求取均值，一次项为
$x^T\wedge\mu-x^TA^TLb+y^TLb=\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}$
等式左边替换为(2.71)的一次项部分
$\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \Sigma^{-1}E[z]=\begin{bmatrix} {x}\\{y} \end{bmatrix}^T \begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}$
可得 $E[z]$
$E[z] = \Sigma\begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}=R^{-1}\begin{bmatrix} {\wedge\mu-A^TLb}\\{Lb} \end{bmatrix}=\begin{bmatrix} {\mu}\\{A\mu+b} \end{bmatrix}$
以上求得联合分布 $z$ 的协方差 $\Sigma$ 和均值 $E[z]$
$E[z] = \begin{bmatrix} {\mu}\\{A\mu+b} \end{bmatrix} \\ cov[z]=\begin{bmatrix} {\wedge^{-1}}&{{\wedge}^{-1}A^T}\\{A\wedge^{-1}}&{ L^{-1}+A\wedge^{-1}A^T} \end{bmatrix}$

然后由联合分布 $z$ 的均值和协方差来求边缘分布 $p(y)$ 的均值和协方差(2.3.2)
由公式(2.92)和(2.93)得
$E[y] = A\mu+b\\ cov[y] = L^{-1}+A\wedge^{-1}A^T$

求条件分布 $p(x|y)$ 的均值和方差(2.3.1)
由公式(2.73)和(2.75)得
$E[x|y] = (\wedge +A^TLA)^{-1}\{A^TL(y-b)+\wedge\mu\}\\ cov[x|y] = (\wedge+A^TLA)^{-1}$

结论
给定 $x$ 的一个边缘高斯分布，已经在给定 $x$ 条件下 $y$ 的条件高斯分布
$p(x) = N(x|\mu, \wedge^{-1})\\ p(y|x) = N(y|Ax+b, L^{-1})$
$y$ 的边缘分布以及给定 $y$ 的条件下的 $x$ 的条件分布

$p(y) = N(y|A\mu+b,L^{-1}+A\wedge^{-1}A^T)\\ p(x|y) = N(x|\Sigma\{A^TL(y-b)+\wedge\mu\},\Sigma)\\ \Sigma = (\wedge+A^TLA)^{-1}$

最后编辑于：2019.01.30 14:56:52