各种概率分布

定义3.1 母函数:
对于一个数列 $\{a_n\}_{n=0}^\infty$ ,我们将对应的项作为系数,构造出这样一个幂级数
$g(z)=\sum\limits_{n=0}^\infty a_nz^n$
称为该数列的母函数
如果对于一个定义在非负整数值上的随机变量 $X,P(X=j)=a_j$ ,那么 $g_X(z)=E(z^X)$ 称为随机变量 $X$ 的母函数或生成函数.

生成函数和分布两者互相唯一决定而且
$EX=g_X'(1)\\ EX^2=g_X'(1)+g_X''(1)$

二项分布:
概率密度函数: $f(x)={n\choose x}p^x(1-p)^{n-x},x\in \mathbb N$
母函数:
$g_X(z)=(p-1+pz)^n$
期望与方差: $EX=np,VarX=npq$

定理3.1 Laplace变换:
考虑一个新的随机变量 $e^{-\lambda X}$ ,称其期望
$E(e^{-\lambda X})=\int_{-\infty}^{+\infty}e^{-\lambda u}f(u)du$
为 $f$ 的 $Laplace$ 变换,即 $\mathcal L(f)(\lambda)=\int_{-\infty}^{+\infty}e^{-\lambda u}f(u)du$ ,我们将 $E(e^{\lambda X})$ 称为 $X$ 的矩母函数.

但要注意 $Laplace$ 变换不一定存在,但对于正态分布来说 $Laplace$ 变换是一定存在的

定理3.2 Fourier变换:
如果将拉氏变换中的 $\lambda$ 换成复数,得到
$E(e^{i\theta X})=\int_{-\infty}^{+\infty}e^{i\theta u}f(u)du$
称为函数 $f$ 的 $Fourier$ 变换,,我们将 $E(e^{i\theta X})$ 称为随机变量 $X$ 的特征函数.

Poisson分布:
概率密度函数:
$f(x)=\frac{\lambda^x}{x!}e^{-\lambda},x\in \mathbb N$
母函数:
$g_X(z)=\sum_0^\infty \frac{e^{-\lambda}}{n!}\lambda^n z^n=e^{\lambda(z-1)}$
矩母函数:
$M(t)=E(e^{\lambda t})=e^{\lambda(e^t-1)}$
期望与方差: $EX=VarX=\lambda$ (利用母函数得到)

$Poisson$ 的母函数为指数形式,可以得到如果 $X_i\sim \pi(\lambda_i)$ ,且 $X_i$ 互相独立,那么 $\sum X_i\sim\pi(\sum \lambda_i)$

定理3.3 Stirling公式:
$n!\sim\sqrt{2\pi n}\left(\frac n e\right)^n,n\to\infty$

定理3.4 Poisson极限律:
$\lim\limits_{n\to \infty}{n\choose k}\left(\frac\alpha n\right)^k\left(1-\frac \alpha n\right)^{n-k}=\frac{\alpha^k}{k!}e^{-\alpha}$
$二项分布\to Poisson分布,(n\to\infty)$

定理3.5 De Moivre-Laplace定理:
如果 $S_n=\sum X_i$ ,且 $X_i\sim B(m,p)$
$\lim\limits_{n\to \infty}P\left(a<\frac{S_n-np}{\sqrt{npq}}<b\right)=\frac{1}{2\pi}\int_a^be^{-x^2/2}dx$
$二项分布\to正态分布,(n\to\infty)$

正态分布:
概率密度函数:
$f(x)=\frac{1}{2\pi}e^{-x^2/2}$
矩母函数:
$M(\theta)=E(e^{\theta X})=e^{\theta^2/2}$

定理3.6 中心极限定理:
对和 $S_n=\sum X_i$ ,其中 $X_i$ 独立同分布且有有限的期望和方差 ,对任何 $a<b$ ,当 $n$ 足够大时,对于规范化的
$S_n^*=\frac{S_n-n\mu}{\sqrt n \sigma}$
我们有
$P(a<S_n^*\leq b)=\int_a^b\phi(x)dx$
即 $S_n^*$ 近似服从正态分布

证明:利用特征函数连续性定理,我们只需证明特征函数列收敛于正态分布的特征函数.
然后根据规范化后的 $S_n^*$ 均值为0,方差为1得到特征函数的泰勒展开,然后取极限. $\square$

定理3.7 Chebyshev不等式:
设随机变量 $X$ 有有限的二阶矩(实际上没有这个要求),那么对于任何常数 $c$ 我们有
$P(|X|\geq c)\leq\frac{EX^2}{c^2}$

定理3.8 弱大数定律
如果 $X_i$ iid且 $EX_i$ 存在,那么我们有(Khinchin大数定律)
$\lim\limits_{n\to \infty}P\left(\left|\frac{S_n}n-\mu\right|<c\right)=1,\forall c>0$
如果 $EX_i^2$ 有限,那么我们利用 $Chebyshev$ 不等式可以得到大数定律的推广形式(Chebyshev大数定律)
$\lim\limits_{n\to \infty} P\left(\left|\frac{\sum X_i}{n}-\frac{\sum \mu_{X_i}}{n} \right|<c\right)=1,\forall c>0$
它说明了当 $n$ 充分大时,算数平均 $\sum X_i/n\to \sum EX_i/n$ (依概率收敛)

实际上大数定律是更加基本和原始的极限定理.实际上,弱大数定律在二阶矩有限时可以得到强大数定律,这时样本平均值几乎必然收敛到样本期望的均值

$\Gamma$ 分布:
概率密度函数:
$f(x)=\frac{x^{\alpha-1}e^{-x/\beta}}{\beta^\alpha\Gamma(\alpha)}\sim \Gamma(\alpha,\beta),x>0$
矩母函数:
$M(t)=(1-\beta t)^{-\alpha}$
期望和方差: $EX=\alpha\beta,VarX=\alpha\beta^2$

$B$ 分布:
概率密度函数:
$f(x)=\frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)}\sim B(\alpha,\beta),0<x<1$
矩母函数:
$M(t)=(1-\beta t)^{-\alpha}$
期望和方差: $EX=\alpha\beta,VarX=\alpha\beta^2$

$\chi^2$ 分布:
实际上是 $\Gamma$ 分布的特殊情形,即
$\chi^2(\nu)=\Gamma(\nu/2,2)$
其中 $\nu$ 称为自由度( $\nu$ 个正态分布随机变量的平方和服从 $\chi^2(\nu)$ 分布)
矩母函数:
$M(t)=(1-2t)^{-\nu/2}$

Cauchy分布:
密度函数:
$f(x)=\frac{a}{\pi(x^2+a^2)},a>0,x\in\mathbb{R}$
均值、方差、高阶矩均不存在

t 分布:
概率密度函数:
$f(x)=A(1+x^2/\nu)^{-(\nu+1)/2},x\in\mathbb R$
期望与方差: $EX=0(偶函数),VarX=\nu/(\nu-2)$
如果 $Y\sim N(0,1),Z\sim \chi^2(\nu)$ ,则
$\frac{Y}{\sqrt{Z/\nu}}\sim t(\nu)$

t分布在统计中用于估计方差未知,总体服从正态分布的均值

指数分布:
概率密度函数:
$f(x)=\alpha e^{-\alpha x},x>0$
实际上指数分布也是 $\Gamma$ 分布的特殊情形,即 $\Gamma(1,1/\alpha)$
矩母函数:
$M(t)=\frac{\alpha}{\alpha-t}$

最后编辑于：2020.12.23 15:54:44

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,921评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,635评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,393评论 0赞 338
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,836评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,833评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,685评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,043评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,694评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 42,671评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,670评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,779评论 1赞 332
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,424评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,027评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,984评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,214评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,108评论 2赞 351
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,517评论 2赞 343

各种概率分布

推荐阅读更多精彩内容