高级计量经济学 2：概率论与数理统计(上)

此文内容为《高级计量经济学及STATA应用》的笔记，陈强老师著，高等教育出版社出版。

我只将个人会用到的知识作了笔记，并对教材较难理解的部分做了进一步阐述。为了更易于理解，我还对教材上的一些部分（包括代码和正文）做了修改。

仅供学习参考，请勿转载，侵删！

⚠️注意，本文有一定量的数学证明，为数学强迫症者准备，矩阵恐惧症患者慎入。

本文目录：

2 数学工具
- 2.3 概率论与条件概率
  - 2.3.1 概率
  - 2.3.2 条件概率
  - 2.3.3 独立事件
  - 2.3.4 全概率公式
- 2.4 分布与条件分布
  - 2.4.1 离散型分布
  - 2.4.2 连续型分布
  - 2.4.3 多维随机向量的概率分布
  - 2.4.4 边缘密度函数
  - 2.4.5 条件分布
- 2.5 随机变量数字特征（标量）
  - 2.5.1 期望
  - 2.5.2 方差
  - 2.5.3 协方差与相关系数
  - 2.5.4 矩
  - 2.5.5 条件期望、条件方差
- 2.6 随机变量数字特征（向量）*
  - 2.6.1 (向量)期望
  - 2.6.2 (向量方差)协方差矩阵
  - 2.6.3 期望和协方差矩阵的性质

$\S \text{ 第 2 章 } \S$

$\text{数学工具}$

2 数学工具

2.3 概率论与条件概率

2.3.1 概率

概率是大量重复实验下，事件发生的频率趋向于某个稳定值，这个值就是概率。记事件 $A$ 发生的概率（probability）为：
${\rm P}(A)$

2.3.2 条件概率

记事件出太阳为 $B$ ，则在出太阳的前提下，降雨的条件概率（conditional probability）为：
${\rm P}(A|B) \equiv \frac{{\rm P}(AB)}{{\rm P}(B)}$
$AB$ 表示事件 $A$ 和 $B$ 同时发生，即 $A \bigcap B$ ，故 $P(AB)$ 为“太阳雨”的概率。理解条件概率最关键的就是理解这个韦恩图：

事件 $B$ 发生以后，总体就整个面积坍塌到只有 $B$ 的面积，即分母缩小了。

2.3.3 独立事件

如果条件概率等于无条件概率，即 ${\rm P}(A|B)={\rm P}(A)$ ，即 $B$ 是否发生不影响 $A$ ，则说 $A,B$ 为相互独立的随机事件，此时：
${\rm P}(A|B) \equiv \frac{{\rm P}(AB)}{{\rm P}(B)} = {\rm P}(A)$
即：
${\rm P}(AB) = {\rm P}(A) {\rm P}(B)$
这也可以作为随机变量相互独立的定义。

2.3.4 全概率公式

如果事件组 $\{B_1,B_2,\cdots,B_n\}(n>2)$ 两两互不相容，但必有一件事情发生。则对任意的事件 $A$ ，一定有：
${\rm P}(A) = \sum_{i=1}^n {\rm P}(B_i){\rm P}(A|B_i)$
全概率事件把这个世界上的某个事件 $B$ 分成 $n$ 种可能性，再把事件 $A$ 的条件概率按加权平均的方式汇总起来，成为无条件概率。也就是说， $A$ 发生的概率应该等于 $B$ 所有可能发生的情况时 $A$ 发生的概率（条件概率）的加权平均

2.4 分布与条件分布

2.4.1 离散型概率分布

假设随机变量 $X$ 的可能取值为 $\{x_1,x_2,\cdots,x_k,\cdots \}$ ，其对应的概率为 $\{p_1,p_2,\cdots,p_k,\cdots \}$ ，即满足 $p_k \equiv {\rm P}(X=x_k)$ ，就称 $X$ 为离散型随机变量，其分布律可以表示为：

$X$	$x_1$	$x_2$	$\cdots$	$x_k$	$\cdots$
$p$	$p_1$	$p_1$	$\cdots$	$p_1$	$\cdots$

其中， $p_k \geq 0,\sum\limits_k p_k=1$ 。常见的离散分布有两点分布（Bernoulli）、二项分布（ Binomial）、泊松分布（Poisson）等。

2.4.2 连续型概率分布

如果连续型随机变量 $X$ 可以取任意实数，其概率密度函数（Probability density function，pdf） $f(x)$ 满足：

$f(x) \geq 0,\forall x$
$\int\limits_{-\infty}^{+\infty}f(x){\rm d}x = 1$
$X$ 落入区间 $[a,b]$ 的概率为 ${\rm P}(a \leq X \leq b)=\int\limits_a^b f(x){\rm d}x$

也就是说，在一维情况下，概率就是概率密度函数下的面积：

同时可以定义累计分布函数（cumulative distribution function，pdf）：
$F(x) = {\rm P}(-\infty < X \leq x) = \int_{-\infty}^{x}f(t){\rm d}t$
其中， $t$ 为积分变量。 $F(x)$ 度量的是从 $-\infty$ 到 $x$ 为止，概率密度函数 $f(x)$ 曲线下的面积：

2.4.3 多维随机向量的概率分布

为研究变量的关系，常常同时考虑两个或多个随机变量，即随机向量（random vector）。二维连续型随机向量 $(X,Y)$ 的联合密度函数（joint pdf） $f(x,y)$ 满足：

$f(x,y) \geq 0, \forall x,y$
$\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x,y){\rm d}x{\rm d}y = 1$
$(X,Y)$ 落入平面某区域 $D$ 的概率为 ${\rm P}\{(X,Y) \in D\}=\iint\limits_D f(x,y){\rm d}x{\rm d}y$

二维随机向量的联合密度的联合密度就像是一定草帽，落入平面某区域 $D$ 的概率就是此草帽下在区域 $D$ 上的体积：

$n$ 维连续型随机向量 $(X_1,X_2,\dots,X_n)$ 可由联合密度函数 $f(x_1,x_2,\cdots,x_n)$ 来描述。

类似的，可以定义二维随机向量 $(X,Y)$ 的累积分布函数为：
$F(x,y) \equiv {\rm P}(-\infty < X \leq x;\; -\infty<Y\leq y)=\int_{-\infty}^{x} \int_{-\infty}^{y} f(t,s) {\rm d}t{\rm d}s$

2.4.4 边缘密度函数

从二维联合密度 $f(x,y)$ ，可计算 $X$ 的一维边缘密度函数（marginal pdf）：
$f_x(x) = \int_{-\infty}^{+\infty} f(x,y) {\rm d}y$
即给定 $X=x$ ，把所有 $Y$ 取值的可能性都加总起来（积分的本质就是加总），这样 $y$ 就被积分掉了，而这个联合密度变成了只关于 $x$ 的函数。

2.4.5 条件分布

条件分布函数（conditional distribution）的概念对于计量至关重要。

考虑在 $X=x$ 条件下 $Y$ 的分布，记为 $Y|X=x$ 或 $Y|x$ 。对于连续分布，此条件相当于在草帽上 $X=x$ 的位置垂直地切一刀所得的截面。

可以证明，条件密度函数为：
$f(y|x) = \frac{f(x,y)}{f_x(x)}$
直观上，与全概率公式 ${\rm P}(A|B) \equiv \frac{{\rm P}(AB)}{{\rm P} (B)}$ 十分类似。

2.5 随机变量的数字特征（标量）

如果我们要了解一个随机变量的分布情况，知道分布函数固然最好。但更多的时候我们并不需要知道完整的分布函数，因为某些分布函数其实只需要几个量甚至一个量就足矣描述了，比如正态分布，只需要知道 $(\mu,\sigma^2)$ 就可以确定一个分布了。这样的参数是我们感兴趣的，即所谓的数字特征。

2.5.1 期望

定义1：对于分布律为 $p_k \equiv {\rm P}(X=x_k)$ 的离散型随机变量 $X$ ，其期望（expectation）为：
${\rm E}(X) \equiv \mu \equiv \sum_{k=1}^{\infty} x_kp_k$
期望值的直观含义就是对 $x_k$ 进行加权平均，而权重为概率 $p_k$ 。

定义2：对于概率密度函数为 $f(x)$ 的连续型随机变量 $X$ ，其期望为：
$E(x) \equiv \mu \equiv \int_{-\infty}^{+\infty} xf(x){\rm d}x$
经济学上积分一般都可以当成是简单的求和，上式本质上也是加权平均。 $E(x)$ 成为期望算子，满足线性性：
${\rm E}(X+Y) = {\rm E}(X) + {\rm E}(Y)$

${\rm E}(kX) = k{\rm E}(X)$

2.5.2 方差

定义3：随机变量 $X$ 的方差（variance）为：
${\rm VAR}(X) \equiv \sigma^2 \equiv {\rm E}[X-{\rm E}(X)]^2$
方差衡量了随机变量的波动幅度。方差的平方根成为标准差（standard deviation），记为 $\sigma$ 。在计算方差时，常利用以下简便公式：
${\rm Var}(X) = {\rm E}(X^2) - [{\rm E}(X)]^2$

证明：
$\begin{align} {\rm VAR}(X) &\equiv {\rm E}[X-{\rm E}(X)]^2\\ &= {\rm E}[X^2 - 2X{\rm E}(X) + {\rm E}(X)^2]\\ &={\rm E}(X^2) - {\rm E}[2X{\rm E}(X)] + {\rm E}[{\rm E}(X)^2] \end{align}$
考虑到 ${\rm E}(X)$ 是一个常数，使用线性性（见2.5.1）：
$\begin{align} &={\rm E}(X^2) - {\rm E}[2X{\rm E}(X)] + {\rm E}[{\rm E}(X)^2]\\ &={\rm E}(X^2) - 2{\rm E}(X){\rm E}(X)+{\rm E}(X)^2\\ &={\rm E}(X^2) - [{\rm E}(X)]^2 \end{align}$
证毕。

可以看出，方差其实是期望的特例，是以自变量为 $[X-{\rm E}(X)]^2$ 的期望，即偏离期望的期望。

2.5.3 协方差、相关系数

常常需要考虑两个变量之间的相关性，即一个随机变量会对另外一个随机变量的取值会造成影响。

定义4：随机变量 $X$ 与 $Y$ 的协方差（covariance）为：
${\rm Cov}(X,Y) \equiv \sigma_{XY} \equiv {\rm E} [(X-{\rm E}(X)(Y-{\rm E}(Y)]$
直观上：

如果 $X$ 偏离其期望 ${\rm E}(X)$ 为正的时候， $Y$ 的偏离也为正，那么 ${\rm Cov}(X,Y)>0$
如果 $X$ 偏离其期望 ${\rm E}(X)$ 为正的时候， $Y$ 的偏离缺为负，那么 ${\rm Cov}(X,Y)<0$

所以 ${\rm Cov}(X,Y)$ 一定程度上度量了 $X$ 和 $Y$ 的关系。

计算协方差时，常用下面的简便公式：
${\rm Cov}(X,Y) = {\rm E}(XY) - {\rm E}(X){\rm E}(Y)$

证明：
$\begin{align} {\rm Cov}(X,Y) &\equiv {\rm E} [(X-{\rm E}(X)(Y-{\rm E}(Y)]\\ &={\rm E}[XY-X{\rm E}(Y)-{\rm E}(X)Y+{\rm E}(X){\rm E}(Y)]\\ &={\rm E}[XY] - {\rm E}[X{\rm E}(Y)] - {\rm E}[Y{\rm E}(X)] + {\rm E}[{\rm E}(X){\rm E}(Y)]\\ &={\rm E}(XY) - {\rm E}(X){\rm E}(Y) \end{align}$
证毕。

直观上，上面的公式与方差（2.5.2）公式非常类似。同时可以证明，协方差的运算满足线性性：
${\rm Cov}(X,Y+Z) = {\rm Cov}(X,Y) + {\rm Cov}(X,Z)$

证明：
$\begin{align} & {\rm Cov}(X,Y+Z) = {\rm E} [(X-{\rm E}(X)((Y+Z)-{\rm E}(Y+Z)]\\ &={\rm E} [ X(Y+Z) - X{\rm E}(Y+Z)] - {\rm E}(X)(Y+Z) + {\rm E}(X) {\rm E}(Y+Z)]\\ &={\rm E}(XY) + {\rm E}(XZ) - {\rm E}\{X{\rm E}(Y)- X{\rm E}(Z) - {\rm E}(X)Y -{\rm E}(X)Z + {\rm E}(X){\rm E}(Y)+ {\rm E}(X){\rm E}(Z)\}\\ &={\rm E}(XY) + {\rm E}(XZ) - {\rm E}(X){\rm E}(Y) - {\rm E}(X){\rm E}(Z)\\ &= {\rm Cov}(X,Y) + {\rm Cov}(X,Z) \end{align}$
证毕。

虽然协方差也可以衡量两个随机变量的相关性，但毕竟它受 $X$ 的单位影响。比如 GDP 用”元“还是”十亿元“计量，会对 ${\rm Cov}(·,·)$ 造成影响的。为了统一量纲，需要用一个东西给他标准化咯。

前面提到，计量经济学中的标准化一般使用方差进行，所以这里我们定义一个相关系数，为：
$\rho \equiv {\rm Corr}(X,Y) \equiv \frac{{\rm Cov}(X,Y)}{\sqrt{{\rm Var}(X){\rm Var}(Y)}} = \frac{\sigma_{XY}}{\sigma_X \sigma_Y}$
可以证明，相关系数一定介于 $-1$ 到 $1$ 之间，即 $-1 \leq \rho \leq 1$ 。下面给出一个绝妙的证明：

证明：

为了创造 ${\rm Cov}(X,Y)$ 和 ${\rm Var}(X)$ 、 ${\rm Var}(Y)$ ，我们构造一个函数：
$h(t) = {\rm E}\left\{ [X-{\rm E}(X)]t + [Y-{\rm E}(Y)] \right\}^2$

展开这个2次方，有：
$h(t) = {\rm E}\{ [X-{\rm E}(X)]^2t^2 + 2t \cdot [X-{\rm E}(X)][Y-{\rm E}(Y)] +[Y-{\rm E}(Y)]^2 \}$
使用期望算子的线性性，并注意到 ${\rm E}[x-{\rm E}(x)]^2 = {\rm Var}(X)$ 、 ${\rm E}[x-{\rm E}(Y)]^2 = {\rm Var}(Y)$ 、 ${\rm Cov}([X-{\rm E}(X)][Y-{\rm E}(Y)])$ ，有：
$原式={\rm Var}(X)t^2+2{\rm Cov}(X,Y)t+{\rm Var}(Y)$
考虑到 $h(t)$ 的统计意义是某个非负随机变量的的期望故 $h(t) \geq 0$ ，即二次函数的判别式 $\Delta \leq 0$ ：
$\Delta = 4{\rm Cov}(X,Y)^2-4{\rm Var}(X){\rm Var}(Y) \le 0$
显然，
${\rm Corr}(X,Y) \equiv \frac{{\rm Cov}(X,Y)}{\sqrt{{\rm Var}(X){\rm Var}(Y)}} \in [-1,1]$
证毕。

2.5.4 矩

如果以上提到的各定义中的积分不收敛（比如自由度为 $1$ 的 $t$ 分布，没有期望和方差），那么就需要找到一个更加一般的数字特征，即各阶矩（moment）

定义5：一阶原点矩为 ${\rm E}(X)$ ，另外的 $K$ 阶原点矩为 ${\rm E}(X^K)$

定义6：二阶中心矩为 ${\rm E}[X-{\rm E}(x)]^2$ ， $K$ 阶中心矩为 ${\rm E}[X-{\rm E}(x)]^K$

其中，有几个矩是比较重要的：

一阶原点矩 ${\rm E}(X)$ 实际上就是期望，表示随机变量的平均值
二阶中心矩 ${\rm E}(X-{\rm E}(X))^2$ 实际上就是方差，表示随机变量的波动程度
三阶中心矩 ${\rm E}(X-{\rm E}(X))^3$ 实际上表示的是密度函数的不对称性
四阶中心矩 ${\rm E}(X-{\rm E}(X))^4$ 实际上便是的是密度函数在最高处有多“尖”、在尾部有多“厚”

可以看出，三、四阶矩也对密度函数的特征有一定的描述作用。可是，三、四阶矩受随机变量 $X$ 的量纲的影响。按照计量经济学的惯例，对于任何取决于单位的变量，标准化的手段是除以方差（对高维度随机变量，则是除以协方差矩阵），那么就有：

定义7：随机变量 $X$ 的偏度（skewness）为 ${\rm E}[(X-\mu)/\sigma]^3$

定义8：随机变量 $X$ 的峰度（kurtosis）为 ${\rm E}[(X-\mu)/\sigma]^4$

某个随机变量的峰度如果比较大，那么密度函数在两侧更“厚“（这就是所谓的胖尾（fat tail）），从而更加可能取尾部的极端值（outlier）

对于正态分布，峰度为3（计算出来的，不服可算），偏度为0（奇函数的三次方积分为0）。从而对任意一个随机变量 $X$ ，可以计算它与正态分布差多少，可以以此判断这个分布是否为正态分布：

定义9：随机变量 $X$ 的超额峰度（excess kurtosis）为 ${\rm E}[(X-\mu)/\sigma]^4-3$

刚一般地，对于随机变量 $X$ 与任意函数 $g(\cdot)$ ，称随机变量函数 $g(X)$ 的期望 ${\rm E}[g(X)]=\int_{-\infty}^{+\infty} g(x)f(x){\rm d}x$ 为矩（moment）

2.5.5 条件期望、条件方差

定义10：条件期望（condition expectation）就是条件分布 $Y|x$ 的期望，即：
${\rm E}(Y|X=x) \equiv {\rm E}(Y|x) = \int_{-\infty}^{+\infty} yf(y|x) {\rm d}x = \int_{-\infty}^{+\infty} y \frac{f(xy)}{f(x)} {\rm d}x$
（上式的最后一个等号见2.4.5 条件分布）由于 $y$ 已经被积分掉，所以 ${\rm E}(Y|x)$ 只是关于 $x$ 的函数。

定义 11：条件方差（condition variance）就是条件分布 $Y|x$ 的方差，即：
${\rm Var}(Y|X=x) \equiv {\rm Var}(Y|x) = \int_{-\infty}^{+\infty} [y-{\rm E}(Y|x)]^2f(y|x) {\rm d}x$
由于 $y$ 已经被积分掉，所以 ${\rm E}(Y|x)$ 只是关于 $x$ 的函数。

2.6 随机变量的数字特征（向量）

2.5节介绍了标量随机变量的数字特征。我们在计量上其实更多地是使用高维度的“数字”，比如：

在2.5节，随机变量 $X$ 是一个标量，比如某一年的数学成绩

实际计量中，比如要做回归时，我们往往需要用到很多年的信息：
$（X_1，X_2,\cdots,X_n）=(数学_1,数学_2,\cdots,数学_n)$
那么这个 $n$ 个随机变量 $X_i$ 实际上构成了一个随机向量，记为 $\pmb X$

在以后， $X$ 是一个随机标量， $\pmb X$ 是随机向量， $\mathbf X$ 是随机矩阵

所以，研究向量的数字特征也十分重要。所幸，向量只是标量的拓展，很多性质和公式都是有共性的。

2.6.1 向量的期望

定义1：设 ${\pmb X} = (X_1,X_2, \cdots,X_n)^\prime$ 为 $n$ 维向量，代表 $n$ 个观测值，则其期望为
${\rm E}(\pmb X) \equiv {\rm E} \left[ \begin{matrix} X_1\\ \vdots\\ X_n \end{matrix} \right] \equiv \left[ \begin{matrix} {\rm E}(X_1)\\ \vdots\\ {\rm E}(X_n) \end{matrix} \right]$

2.6.2 向量的方差：协方差矩阵

协方差矩阵就是标量中的方差的概念。

定义2：设 ${\pmb X} = (X_1,X_2, \cdots,X_n)^\prime$ 为 $n$ 维向量，代表 $n$ 个观测值，则其协方差矩阵（covariance matrix）为一个 $n \times n$ 的对称矩阵：
$\begin{align} \operatorname{Var}(\pmb{X}) &\equiv \mathrm{E}\left[(\pmb{X}-\mathrm{E}(\pmb{X}))(\pmb{X}-\mathrm{E}(\pmb{X}))^{\prime}\right]\\ &=\mathrm{E}\left[\left(\begin{array}{c} X_{1}-\mathrm{E}\left(X_{1}\right) \\ \vdots \\ X_{n}-\mathrm{E}\left(X_{n}\right) \end{array}\right)\left(X_{1}-\mathrm{E}\left(X_{1}\right) \quad \cdots \quad X_{n}-\mathrm{E}\left(X_{n}\right)\right)\right]\\ &=E\left(\begin{array}{ccc} {\left[X_{1}-E\left(X_{1}\right)\right]^{2}} & \cdots & {\left[X_{1}-E\left(X_{1}\right)\right]\left[X_{n}-E\left(X_{n}\right)\right]} \\ \vdots & \ddots & \vdots\\ {\left[X_{1}-E\left(X_{1}\right)\right]\left[X_{n}-E\left(X_{n}\right)\right]} & \cdots & {\left[X_{n}-E\left(X_{n}\right)\right]^{2}} \end{array}\right)\\ &=\left(\begin{array}{ccc} \mathrm{Var}(X_1) & \cdots & \mathrm{Cov}(X_1,X_n) \\ \vdots & \ddots & \vdots \\ \mathrm{Cov}(X_n,X_1) & \cdots & \mathrm{Var}(X_n) \end{array}\right) \end{align}$
之所以叫协方差矩阵，是因为这就是由协方差构成的矩阵。对角线上的方差其实是协方差的特例罢了。

2.6.3 (向量)期望和协方差矩阵的性质*

假设 $\pmb A$ 为 $m \times n$ 常数矩阵，那么有：

性质1： $\mathrm{E}(\pmb{AX})=\pmb{A} \mathrm{E}(\pmb{X})$ ：期望的线性性
性质2： $\operatorname{Var}(\pmb{X})=\mathrm{E}\left(\pmb{X X}^{\prime}\right)-\mathrm{E}(\pmb{X})[\mathrm{E}(\pmb{X})]^\prime$ ：一维公式的推广
性质3： $\operatorname{Var}(\pmb{A X})=\pmb{A} \operatorname{Var}(\pmb{X}) \pmb{A}^{\prime}$ ：夹心估计量（重要！）

这些性质是可以证明的，最简单的想法就是把他们直接展开写成标量的形式。

证明1： $\mathrm{E}(\pmb{AX})=\pmb{A} \mathrm{E}(\pmb{X})$
假设 $\pmb A$ 为 $m \times n$ 常数矩阵， $\pmb X$ 为 $n \times 1$ 随机向量，那么：
$\begin{align} {\rm E}(\pmb{AX}) &\equiv {\rm E} \left\{ \left[ \begin{matrix} a_{11} &\cdots & a_{1n}\\ \vdots & \ddots & \vdots\\ a_{m1} &\cdots & a_{mn} \end{matrix} \right] \left[ \begin{matrix} X_1\\ \vdots\\ X_n \end{matrix} \right] \right\} \equiv {\rm E} \left\{ \left[ \begin{matrix} a_{11}X_1+\cdots+a_{1n}X_n \\ \vdots \\ a_{m1}X_1 + \cdots+a_{mn}X_n \end{matrix} \right] \right\} \end{align}$
从而，根据定义1，有：
$\begin{align} {\rm E} \left\{ \left[ \begin{matrix} a_{11}X_1+\cdots+a_{1n}X_n \\ \vdots \\ a_{m1}X_1 + \cdots+a_{mn}X_n \end{matrix} \right] \right\} &\equiv \left[ \begin{matrix} \mathrm E(a_{11}X_1+\cdots+a_{1n}X_n )\\ \vdots \\ \mathrm E(a_{m1}X_1 + \cdots+a_{mn}X_n) \end{matrix} \right] \end{align}$
根据标量期望算子线性性，有：
$\begin{align} \left[ \begin{matrix} \mathrm E(a_{11}X_1+\cdots+a_{1n}X_n )\\ \vdots \\ \mathrm E(a_{m1}X_1 + \cdots+a_{mn}X_n) \end{matrix} \right] &\equiv \left[ \begin{matrix} \mathrm a_{11}E[X_1]+\cdots+\mathrm a_{1n}E[X_n]\\ \vdots \\ \mathrm a_{m1}E[X_1] + \cdots+\mathrm a_{mn}E[X_n] \end{matrix} \right] \end{align}$
将求和的系数部分剥离：
$\begin{align} \left[ \begin{matrix} \mathrm a_{11}E[X_1]+\cdots+\mathrm a_{1n}E[X_n]\\ \vdots \\ \mathrm a_{m1}E[X_1] + \cdots+\mathrm a_{mn}E[X_n] \end{matrix} \right] = \left[ \begin{matrix} a_{11} &\cdots & a_{1n}\\ \vdots & \ddots & \vdots\\ a_{m1} &\cdots & a_{mn} \end{matrix} \right] \left[ \begin{matrix} {\rm E}[X_1]\\ \vdots\\ {\rm E}[X_{n}] \end{matrix} \right] \end{align}$
于是再用一次定义1：
$\begin{align} \left[ \begin{matrix} a_{11} &\cdots & a_{1n}\\ \vdots & \ddots & \vdots\\ a_{m1} &\cdots & a_{mn} \end{matrix} \right] \left[ \begin{matrix} {\rm E}[X_1]\\ \vdots\\ {\rm E}[X_{n}] \end{matrix} \right]= \pmb A \mathrm E \left( \begin{matrix} X_1\\ \vdots\\ X_{n} \end{matrix} \right) = \pmb{A} \mathrm E(\pmb X) \end{align}$
证毕。

实际上，如果 $\pmb X$ 可以是向量，那么 $\pmb X$ 也可以是行数为 $n$ 的任意矩阵，我证过，这不难，读者可以自己试一下。类似的，也应该有 ${\rm E}(\pmb {XA}) = {\rm E}(\pmb X)\pmb A$ ，我没有仔细证明它（主要是懒），但是通过它可以推出性质3。我的理解是， $\pmb A$ 既然是一个常数矩阵，那么在求期望算子作为一种针对随机变量的算子，应该对常数不起作用的。

证明2： $\operatorname{Var}(\pmb{X})=\mathrm{E}\left(\pmb{X X}^{\prime}\right)-\mathrm{E}(\pmb{X})[\mathrm{E}(\pmb{X})]^\prime$

前面知道：
$\operatorname{Var}(\pmb{X})=\left[\begin{array}{ccc} \mathrm{Var}(X_1) & \cdots & \mathrm{Cov}(X_1,X_n) \\ \vdots & \ddots & \vdots \\ \mathrm{Cov}(X_n,X_1) & \cdots & \mathrm{Var}(X_n) \end{array}\right]$
而：
$\begin{align} \mathrm E(\pmb{XX^\prime}) = \mathrm E \left\{ \left[ \begin{matrix} X_1 \\ \vdots \\ X_n \end{matrix} \right] \left[ \begin{matrix} X_1 & \cdots & X_n \end{matrix} \right] \right\} = \left[ \begin{matrix} \mathrm E(X_1X_1) & \cdots & \mathrm E(X_1X_n) \\ \vdots & \ddots & \vdots \\ \mathrm E(X_nX_1) & \cdots & \mathrm E(X_nX_n) \end{matrix} \right] \end{align}$
且：
$\mathrm E(\pmb X)[\mathrm E(\pmb X)]^\prime = \left[ \begin{matrix} \mathrm E(X_1)\\ \vdots\\ \mathrm E(X_n) \end{matrix} \right] \left[ \begin{matrix} \mathrm E(X_1)& \cdots& \mathrm E(X_n) \end{matrix} \right] = \left[ \begin{matrix} \mathrm E(X_1)\mathrm E(X_1) & \cdots & \mathrm E(X_1)\mathrm E(X_n) \\ \vdots & \ddots & \vdots \\ \mathrm E(X_n)\mathrm E(X_1) & \cdots & \mathrm E(X_n)\mathrm E(X_n) \end{matrix} \right]$
显然，
$\mathrm E(\pmb{XX^\prime}) -\mathrm E(\pmb X)[\mathrm E(\pmb X)]^\prime = \left[ \begin{array}{ccc} E(X_1^2)-\mathrm E(X_1)^2 & \cdots & E(X_1X_n) - \mathrm E(X_1)\mathrm E(X_n) \\ \vdots & \ddots & \vdots\\ E(X_nX_1) - \mathrm E(X_n)\mathrm E(X_1) & \cdots & E(X_n^2)-\mathrm E(X_n)^2 \end{array} \right]$
根据 2.5.2 和 2.5.3 有：
$\begin{align} \left[ \begin{array}{ccc} E(X_1^2) & \cdots & E(X_1X_n) - \mathrm E(X_1)\mathrm E(X_n) \\ \vdots & \ddots & \vdots\\ E(X_nX_1) - \mathrm E(X_n)\mathrm E(X_1) & \cdots & E(X_n^2) \end{array} \right] = \left[\begin{array}{ccc} \mathrm{Var}(X_1) & \cdots & \mathrm{Cov}(X_1,X_n) \\ \vdots & \ddots & \vdots \\ \mathrm{Cov}(X_n,X_1) & \cdots & \mathrm{Var}(X_n) \end{array}\right] \end{align}$
也就是：
$\operatorname{Var}(\pmb{X})=\mathrm E(\pmb{XX^\prime}) -\mathrm E(\pmb X)[\mathrm E(\pmb X)]^\prime$
证毕。

证明3： $\operatorname{Var}(\pmb{A X})=\pmb{A} \operatorname{Var}(\pmb{X}) \pmb{A}^{\prime}$

由于： $\operatorname{Var}(\pmb{X}) \equiv \mathrm{E}\left[(\pmb{X}-\mathrm{E}(\pmb{X}))(\pmb{X}-\mathrm{E}(\pmb{X}))^{\prime}\right]$

所以：
$\begin{align} \mathrm{Var}\pmb{(AX)} &= {\mathrm E}\pmb{[AX(AX)^\prime]}-{\mathrm E}[\pmb {AX}][\mathrm E(\pmb {AX})]^\prime\\ &={\mathrm E}[\pmb{AXX^\prime A^\prime}]- \pmb A \mathrm E[\pmb X] [\pmb A \mathrm E (\pmb X)]^\prime\\ & = {\mathrm E}[\pmb{AXX^\prime A^\prime}]- \pmb A \mathrm E[\pmb X]E[\pmb X]^\prime \pmb A^\prime \end{align}$
注意到 $\pmb A$ 是常数矩阵，根据线性性，可以剥离，则有：
$\begin{align} {\mathrm E}[\pmb{AXX^\prime A^\prime}]- \pmb A \mathrm E[\pmb X]E[\pmb X]^\prime \pmb A^\prime &=\pmb A ({\mathrm E}[\pmb{XX^\prime}])\pmb A^\prime -\pmb A(\mathrm E[\pmb X]E[\pmb X]^\prime) \pmb A^\prime\\ &= \pmb A \{{\mathrm E}[\pmb{XX^\prime}]- (\mathrm E[\pmb X]E[\pmb X]^\prime )\}\pmb A^\prime\\ &=\pmb A \mathrm {Var}(\pmb X) \pmb A^\prime \end{align}$
证毕。

最后编辑于：2020.04.22 00:35:28

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 196,302评论 5赞 462
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 82,563评论 2赞 373
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 143,433评论 0赞 325
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 52,628评论 1赞 267
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 61,467评论 5赞 358
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 46,354评论 1赞 273
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 36,777评论 3赞 387
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 35,419评论 0赞 255
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 39,725评论 1赞 294
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 34,768评论 2赞 314
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 36,543评论 1赞 326
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 32,387评论 3赞 315
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 37,794评论 3赞 300
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,032评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 30,305评论 1赞 252
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 41,741评论 2赞 342
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 40,946评论 2赞 336

高级计量经济学 2：概率论与数理统计(上)