2.3 高斯变量

高斯分布
$N(x|\mu,\sigma^2) = \frac{1}{(2\pi\sigma^2)^\frac{1}{2}} \exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}$
多元高斯分布(D维)
$N(x|\mu,\Sigma) = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}\\\Sigma是D*D的协方差矩阵，\mu是D维均值向量$
本文旨在证明： $\mu$ 和 $\Sigma$ 为多元高斯分布的均值和方差

二次型 $\Delta^2$
$\Delta^2=(x-\mu)^T\Sigma^{-1}(x-\mu)\\\Delta叫做\mu和x之间的马氏距离，\Sigma为单位矩阵时就变成欧式距离$
矩阵 $\Sigma$ 可以取对称矩阵，因为任何非对称项都会在指数中消失
$考虑协方差特征向量方程\\ \Sigma\mu_i=\lambda\mu_i\\ 由于\Sigma为实对称矩阵，特征值也为实数，因此特征向量可以被选成单位正交\\ \mu_i^T\mu_j = I_{ij}\\协方差矩阵\Sigma可以展开为\\\Sigma=\sum_{i=1}^D\lambda_i\mu_i\mu_i^T\\类似的，\Sigma的逆矩阵\Sigma^{-1}可以写为\\\Sigma^{-1}=\sum_{i=1}^D\frac{1}{\lambda_i}\mu_i\mu_i^T$
因此二次型 $\Delta^2$ 可以写为
$\Delta^2 = \sum^D_{i=1}\frac{y_i^2}{\lambda_i}\\其中y_i = \mu_i^T(x-\mu)$
关于 $y$
$定义y=(y_1,...y_D)^T\\有\\y=U(x-\mu)\\可知道U时正交矩阵，满足\\UU^T=U^TU=I$
二次型 $\Delta^2$ 和 $y$ 和原坐标 $x$ 的对应关系

椭圆曲线表示二维空间

x=(x1,x2)

的高斯分布的常数概率密度的椭圆面，表示的概率密度为

e^{-\frac{1}{2}}

，值在

x=\mu

处计算。椭圆的轴由协方差矩阵的特征向量

\mu_i

定义，特征值（缩放因子）为

\lambda_i^\frac{1}{2}

从 $x$ 坐标系到 $y$ 坐标系，有jacobian矩阵 $J$
$J_{ij} = \frac{\delta x_i}{\delta y_i} = U_{ij}$

$U$ 正交，因此
$|J^2| = |U^T|^2 = |U^T||U| = |U||U^T| = |I| = 1\\ |J|=1$

又行列式 $|\Sigma|$ 可以写成特征值乘积 $|\Sigma|^{\frac{1}{2}} = \prod^D_{j=1}\lambda_j^{\frac{1}{2}}$ ，故 $y$ 坐标系下，高斯分布形式为
$p(y) = p(x)|J|=\prod^D_{j=1}\frac{1}{(2\pi\lambda_j)^\frac{1}{2}}exp\{-\frac{y_j^2}{2\lambda_j}\}$
以上公式是D个独立一元高斯分布的乘积，特征向量定义了一个新的旋转、平移的坐标系，这个坐标系下联合概率分布可以分解成独立分布的乘积

$y$ 坐标系下的概率分布的积分为
$\int p(y)d_y=\prod_{j=1}^D {\int}^{\infty}_{-\infty}\frac{1}{(2\pi\lambda_j)^\frac{1}{2}}\exp\{-\frac{y_j^2}{2\lambda_j}\}d{y_j}=1$

以上是证明 $\mu$ 和 $\Sigma$ 为高斯分布的均值和方差的前备条件，接下来进行证明

证 $E[x]=\mu$
对连续概率密度函数求期望(积分)
$E[x] = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}xdx$
令 $z=x-\mu$
$E[x] = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\}(z+\mu)dz$
由于积分区域是(-\infty,\infty),根据对称性可得(z+\mu)中的z项为零，因此:
$E[x]=\mu$
也就是证明了文章一开始的D维均值向量就是多元高斯分布的均值(应该是这样??)
证 $var[x] = \Sigma$
求高斯分布的二阶矩(PS：二阶(非中心)矩是对变量的平方求期望，一阶矩就是对变量求期望)
一元变量下，二阶矩由 $E[x^2]$ 给出；对于多元高斯分布，有 $D^2$ 个由 $E[x_ix_j]$ 给出的二阶矩，也就是矩阵 $E[xx^T]$
$E[xx^T]=\frac{1}{(2\pi)^{\frac{D}{2}}}\frac{1}{|\Sigma|^{\frac{1}{2}}}\int\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}xx^Tdx$
令 $z=x-\mu$
$E[xx^T] = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\}(z+\mu)(z+\mu)^Tdz\\=\frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\}(zz^T+\mu\mu^T+\mu z^T+z\mu^T)dz$
由于对称性 $\mu z^T$ 和 $z\mu^T$ 项互相抵消， $\mu\mu^T$ 为常数，因此我们先计算 $zz^T$ 项
$这里的证明没有看懂，最后可以写成\\ \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\int\exp\{-\frac{1}{2}z^T\Sigma^{-1}z\} zz^Tdz\\ =\frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\sum^D_{i=1}\sum^D_{j=1}u_iu_j^T\int \exp\{-\sum^D_{k=1}\frac{y_k^2}{2\lambda_k}\}y_iy_jdy\\=\sum^D_{i=1} u_i u_i^T \lambda_i=\Sigma\\ 因此 E[xx^T]=\mu\mu^T+\Sigma$
定义协方差 $var[x]$
$var[x] = E[(x-E[x])(x-E[x])^T]$
由于高斯分布 $E[x]=\mu$ ，结合 $E[xx^T]$ ，得到
$var[x]=\Sigma$
也就是文首的 $D*D$ 的协方差矩阵

最后编辑于：2019.02.11 15:29:04

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 206,214评论 6赞 481
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 88,307评论 2赞 382
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 152,543评论 0赞 341
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 55,221评论 1赞 279
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 64,224评论 5赞 371
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,007评论 1赞 284
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,313评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,956评论 0赞 259
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,441评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,925评论 2赞 323
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,018评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,685评论 4赞 322
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,234评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,240评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,464评论 1赞 261
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,467评论 2赞 352
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,762评论 2赞 345

2.3 高斯变量

推荐阅读更多精彩内容