高斯过程的分析（一）

《随机过程》这门课真是受益颇多，老师手推公式也是真的厉害，但其实自己在学习的过程中还是有许多的不懂。但老师的名言就是：你不懂的就把他抄一遍，在付出了辛苦之后，就算不懂也会使劲将它搞懂。所以，我决定还是将它继续写下来，付出劳动之后，印象总是特别深刻。继上回理解了学习高斯过程的动机之后，这一次要开始对高斯过程有个更深入的了解，话说，高斯过程真是一个完美的存在啊。不多说，就开始记录吧。

高斯过程的基本定义

一元的高斯分布( $E(X)=\mu,Var(X)=\sigma^2$ )：

$f_X(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(x-\mu)^2}{2\sigma^2} )$

二元的高斯分布的联合概率密度函数（PDF）( $E(X_1)=\mu_1,E(X_2)=\mu_2,Var(X_1)=\sigma_1,Var(X_2)=\sigma_2,\rho=\frac{E(X_1X_2)}{\sigma_1 \sigma_2}$ ）

$f_{X_1X_2}=\frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho ^2}} \exp(-\frac{1}{2(1-\rho^2)}((\frac{x_1-\mu_1}{\sigma_1} )^2+(\frac{x_2-\mu_2}{\sigma_2} )^2-2\rho \frac{x_1-\mu_1}{\sigma_1} \frac{x_2-\mu_2}{\sigma_2} )$

多元的高斯分布

$f_{X}(x)=\frac{1}{(2\pi)^{\frac{n}{2} }\sqrt{det(\Sigma )}}\exp(-\frac{1}{2} (X-\mu)^T\Sigma ^{-1}(X-\mu))$

设 $X=(X_1,X_2...X_n)^T$ 是n元实随机变量， $\mu\in \mathbb{R}^n,E(X)=\mu$ ， $\Sigma$ 为协方差矩阵 $\Sigma =E[(X-\mu)^T(X-\mu)]$

Gauss过程：设有随机过程 $X(t),t\in T$ ，如果对于任意的时间t，随机向量 $\mathbf{X}=(X(t_1),X(t_2)...X(t_n))^T$ 都服从n元高斯分布，则称 $X(t)$ 为高斯过程。

高阶矩

服从多元高斯分布的随机向量的分布函数仅依赖于一阶矩和二阶矩。可以从一元高斯进行证明，如下所示：

假设 $X\sim N(0,\sigma^2)$ ，那么它的高阶矩为： $E(X^n)=\frac{1}{\sqrt{2\pi }\sigma} \int_{-\infty}^{\infty} x^n \exp(-\frac{x^2}{\sigma^2} )dx$ ，看到这个式子要想求积分就得使用分部积分，通过分部积分找到递推公式，让 $I_n=E(X^n)$ ，那么

$I_n = (-\sigma^2)\int_{-\infty}^{\infty} x^{n-1}d\exp(-\frac{x^2}{2\sigma^2})\\=(-\sigma^2)x^{n-1}\exp(-\frac{x^2}{2\sigma^2})|^{\infty}_{-\infty}+(n-1)(\sigma^2)\int_{-\infty}^{\infty} x^{n-2}\exp(-\frac{x^2}{2\sigma^2})dx\\=(n-1)(\sigma^2)\int_{-\infty}^{\infty} x^{n-2}\exp(-\frac{x^2}{2\sigma^2})dx$

可以进行多次的分部积分，最后可以推导出以下结果：

$I_n = \begin{cases}(n-1)(n-3)...1 \sigma^{2k} &\quad n=2k\\0 &\quad n=2k+1\end{cases}$

由于一阶矩为0，所以他的奇数项为0，二阶矩为方差，所以偶数项与方差有关，由此可以看到，高斯过程的高阶矩只与一阶矩和二阶矩有关。

多元高斯分布的特征函数

前面已经说明了特征函数是解决高斯分布的有效手段之一，但只是推导了一元高斯分布的特征函数是怎样的，现在就来推导一下多元的高斯分布函数。

假设有 $\mathbf{ \omega }=(\omega_1, \omega_2,...,\omega_n)^T$ ，n元随机向量 $\mathbf{X} = (x_1, x_2,...,x_n)$ ，则它的特征函数为;

$\phi _X(\mathbf{\omega }) = E(\exp(j \mathbf{\omega }^TX))\\=E(exp(j\omega_1x_1+j\omega_2x_2+...+j\omega_nx_n))$

将上式进行展开，有

$\phi _X(\mathbf{\omega })=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}f(x_1,...,x_n) exp(j\omega_1x_1+j\omega_2x_2+...+j\omega_nx_n)dx_1dx_2...dx_n\\=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}\frac{1}{(2\pi)^{\frac{n}{2} }\sqrt{det(\Sigma )}}\exp(-\frac{1}{2} (X-\mu)^T\Sigma ^{-1}(X-\mu)+j\omega ^TX)dx_1...dx_n$

对指数次幂中的协方差矩阵进行分解，由于 $\Sigma$ 是协方差帧，所以它是对称正定的，对它进行SVD分解， $\Sigma =U\Sigma _1V^T=U\Sigma _1U^T$ ，得到：

$\Sigma ^{-1} =U\sqrt{\Lambda _1}\sqrt{\Lambda_1}U^T\\=U\sqrt{\Lambda_1}U^TU\sqrt{\Lambda_1}U^T\\=A^TA$

因此 $(X-\mu)^T\Sigma ^{-1}(X-\mu)=(A(X-\mu))^T(A(X-\mu))$ ，设 $X=A^{-1}y+\mu$ ，进行积分换元，得到

$\phi _X(\mathbf{\omega })=\frac{\sqrt{det(\Sigma )}}{\sqrt{det(\Sigma )}(2\pi)^{n/2}}\int_{\mathbb{R}^n}\exp(j\omega ^T(A^{-1}y+\mu)-\frac{1}{2}y^Ty)dy \\=\frac{\exp(j\omega ^T\mu)}{(2\pi)^{n/2}}\int_{\mathbb{R}^n}\exp(j\omega ^T(A^{-1}y)-\frac{1}{2}y^Ty)dy$

对幂指数上进行配方，配方成只包括y的二次项和不包括y的一项，这里就不细写了，对包含y的那一项进行积分就是和前面的分母约掉了，最后得到:

$\phi _X(\mathbf{\omega })=\exp(j\omega ^T\mu-\frac{1}{2}\omega ^T\Sigma \omega )$

这就是多元高斯的特征函数的表达。

参考资料

《随机过程及其应用》（第二版）陆大絟张颢

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 200,302评论 5赞 470
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 84,232评论 2赞 377
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 147,337评论 0赞 332
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 53,977评论 1赞 272
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 62,920评论 5赞 360
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,194评论 1赞 277
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 37,638评论 3赞 390
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,319评论 0赞 254
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,455评论 1赞 294
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,379评论 2赞 317
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,426评论 1赞 329
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,106评论 3赞 315
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,696评论 3赞 303
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,786评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,996评论 1赞 255
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 42,467评论 2赞 346
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,043评论 2赞 341

高斯过程的分析（一）

高斯过程的基本定义

高阶矩

多元高斯分布的特征函数

参考资料

推荐阅读更多精彩内容