Variance in OLS estimator

OLS假设

$y_i=\beta_0 + X_i^T \beta_1+\epsilon_i$ 简写为 $y_i=X_i^T\beta +\epsilon_i$
$y=X\beta+\epsilon$
$X$ 为nxm的矩阵，n为样本数量，m为变量数量+1， $\beta$ 为mx1的权重向量
$\epsilon$ 的期望为0： $E[\epsilon|X] = 0$ ，方差为 $E[\epsilon_j - \overline{\epsilon}] = \sigma^2$
$\epsilon$ 这里是冗余参数，需要有如下假设：
1、同方差性： $E[(\epsilon_i-\overline\epsilon)^2|X] = \sigma^2$ 即每次观测的variance都一致，为 $\sigma^2$ ，即homoscedasticity( [反义 Heteroscedasticity])：

at each value of *x*, the *y*-value of the dots has about the same [variance]：

2、 $\epsilon$ 无自相关性： $Cov(\epsilon_i,\epsilon_j) = 0$ ，即不同观测之间的error没有线性关系（不一定独立，独立是充分非必要条件）（在某些特定的情况下，譬如时间序列估计中，有dependencies，serial correlation，则不成立，详见GLS）

OLS estimator：
residual of ith observation: $r_i = y_i - x_i^Tb$ ，b为 $\beta$ 的candidate
最小化sum of residual的estimator被称之为 OLS estiamtor： $\hat \beta = \arg \min_{\beta} S(b) = \arg \min_{\beta} \sum_{i=1}^N(y_i - x_i^T\beta)^2$
根据推导，最后OLS estiamtor for $\beta$ 最终的解析解为： $\hat{\beta}=\arg\min_{b}S(b)=(X^TX)^{-1}X^Ty$
[推导见appendix A]
OLS estimator的性质
1、方差分解：
$SST(total)=SSE(error)+SSR(regression)$
$R^2=1 - \frac {SSE}{SST}$
PS: 这里有时候被写成Residual，有时候写成Error，但其实error与residual是有点区别的（这里严格上来讲是residual）
error（disturbance）是观测值与真实值(true)的偏差。(比如 $\epsilon_i=X_i-u$ ，u为总体均值)
residual是观测值与估计值（estimated）的偏差。(比如 $r_i=X_i-\overline X$ ， $\overline X$ 为样本均值)
Orthogonal Projection view
$Y = X\hat \beta + \epsilon$
$Y:n \times 1$ ，每一行是一个observation的response
$\epsilon: n \times 1$ ，每一行是一个observation的error项
$X:n \times p$ ，也被叫做design matrix，每一行是特征向量的转置 $x_i^T$
$\beta : p \times 1$ ，参数向量
带入 $\hat \beta$ 得到：
$\hat Y = X\hat \beta = X(X^TX)^{-1}X^TY=PY$
$P=X(X^TX)^{-1}X^T$ 为称为Projection matrix，维度为 $n \times n$

估计值的方差：variance of ols estimator:

$\hat{\beta}$ 为 $\beta$ （真值）的估计值，其值是function of datas，并非一个constant estimate，所以也可以看作是一个随机变量，计算其mean 与 variance

期望： $E[\hat{\beta}]=\beta$ ，即OLS estimator为\beta的无偏估计
方差： $Var(\hat{\beta}|X) = E[(\hat{\beta}-\beta)(\hat{\beta}-\beta)^T]=\frac{\sigma^2}{X^TX}$ ，由于 $\sigma^2$ 未知，我们通常用其样本上的估计值来计算。

PS0:
$\beta$ 是一个m维向量， $Var(\beta)$ 是mxm的covariance matrix，对角线上的元素为每个beta的方差。

PS1:
其公式在直觉上也非常好理解，分子是模型预估y的 $\sigma^2$ ，预估越准，residual越小，其值也越小，与estimator的var成正比。例如维度m=1，则对于 $Var(\beta_1)$ ，其分母为 $\sum_{i}^N((x_i-\overline{x})^2)$ ，即：1、样本数量 $N$ 越大，2、X分布越宽泛（variance大利于估计，如果x全部集中在一点，那么其值对y的估计没有帮助），越利于估计，所以与其值呈反比。（证明见[4]，或者[2]中的Unbiasedness and variance of $\hat{\beta}$ ）

PS2:
注意，这里conditioning on $X$ 其实可以消除，证明见[3]
一种更直觉的计算方式[4]：对sample进行bootstrap，获得多个估计值， $\hat{\beta_i}$ ，对这组变量计算variance即可获得其variance的一个估计。

误差的方差(Residual/Error Variance)[5](ie: variance of $\epsilon$ or expectation of $\hat{\sigma}^2$ )

根据定义 $\epsilon \sim N(0,\sigma^2)$ ， $\epsilon$ 的variance为 $\sigma^2$ ，但是我们无法知道 $\sigma^2$ 的真实值。所以我们计算时会使用其估计值代替： $\hat{\sigma}^2$

因为 $\epsilon_i=\hat{y_i} - y_i$ ， $E[\epsilon]=0$ ，根据方差的定义从样本获得 $\epsilon$ 方差的估计值： $\hat{\sigma}^2=\frac{1}{n-2}\sum_{i}^n(\hat{y_i} - y_i)^2$
再由推导： $E[\hat{\sigma}^2]=\frac{n-p}{n}\sigma^2$ ，即其期望的bias随n的增加而减小，所以 $\hat{\sigma}^2$ 为 $\sigma^2$ 的一致性估计，但不是无偏估计。

Heteroscedasticity异方差性

1、对于异方差性，需要用GLS来拟合。
2、其实，我们也可以进行针对性的分析与处理。比如在业务中也可以采取一些针对性的措施。譬如不仅仅只参考预估的均值，也将其方差考虑在内。
3、异方差性状况下误差variance的估计：直觉上处理，特征命中数量量越多，variance越小[6]。还有一些思路在之前的文章中有讨论[7]

低估variance的影响

1、譬如在不均衡数据中对p(x| y =1)估计的问题：（此处1为数据量少的样本，在之前文章有讨论[8]以及[9]，以及论文[10].）

estimator自身的方差很大。
用样本均值 $\overline{x}=\frac{1}{n}\sum(X_i)$ 估计总体均值时虽然是无偏（unbiased）的 $E[\overline{x}]=E[u]$ ，但是其方差与样本数量成反比，为 $var(\overline{x})=s^2/n$ 。即样本越小，这个estimator的variance就越大。estimator本身的variance太大，则本身就不有效（availability）【当然，从严谨的意义上来讲，应该去计算在有限样本条件下，是否能达到variance的最小值（minimum）[12]。这里我们跳出一下理论框架，直觉上理解一下：设想一下采集更多的样本，我们就可以获得更小的variance】
系统性地低估少样本数的数据本身dependent variable的方差：
导致对 $X$ 变量方差的估计偏小：MLE估计分母为n，在n很小的时候会对variance低估。导致会对p(y=1)低估。直觉上的理解可以详见[10]中的Parameter Estimation

2、直觉上，variance越大，越容易induce a wrong ranking

引申1 Linear Regression 中的 Uncertainty Estimate[7]

对于Linear Regression。
1、Homoscedasticity
$\sigma^2$ 是一致的，可以直接从样本中获取sigma的估计。
2、Heteroscedasticity
由于 $\sigma^2$ 不是一致的，所以我们直觉上很容易想到可以同时建模conditional mean与conditional variance： $p(\sigma^2| x)$ 。[13][14]

引申2 Heteroscedasticity in Logistic Regression

由于Logit model的定义本身不包含error term $\epsilon$ ，所以Heteroscedasticity并无法在此定义。[15]

APPENDIX A

先引出OLS estimator的几个特性：
residual： $\hat r_i =y_i - \hat y_i= y_i - x_i^T \hat \beta$
1、 $\sum_i^n \hat r_i = 0$
2、 $\sum_i^n \hat r_i x_{ij}= 0$ ，这里 $j$ 为常数
3、 $\sum_i^n \hat r_i \hat y_i= 0$ ，可以通过上述两个结论推广
一个简单的证明方法是凸函数最优解的FOC
即满足： $\frac {\partial S(\beta)}{\partial \beta}=\frac {\partial \sum_i^n (y_i-\beta_0-\beta_1x_1-...\beta_p x_p)^2}{\partial \beta} =0$
对 $\beta_0$ 的偏导可得： $\sum_i^n 2 \hat r_i (-1)= 0$ ，除去常数得到第一个推论。
对 $\beta_j$ 求导可得： $\sum_i^n 2 \hat r_i (-x_{ij}) = 0$ ，除去常数得到第二个推论。
由于 $\hat y_i=x_i^T \hat \beta$ ，对式子进行移项， $\beta_0\sum_i^n \hat r_i + \sum_j^p \hat \beta_j\sum_i^n 2 \hat r_i (x_{ij})=0$ ，即可得 $\sum_i^n \hat r_i \hat y_i= 0$ ，即第三个推论。
SST的decomposition推导：
SST= $\sum (y_i-\overline y)^2 = \sum (y_i - \hat y_i + \hat y_i - \overline y)^2$
$=\sum (y_i - \hat y_i )^2 +\sum (\hat y_i - \overline y)^2+ 2\sum(y_i - \hat y_i )(\hat y_i - \overline y)$
$SST=SSE+SSR+ 2\sum \hat r_i \hat y_i + 2\overline y \sum \hat r_i$
根据上述特性的推论，可以得到后面两项=0，所以 $SST=SSE+SSR$
类似推导见[16]
换个角度理解SST分解：
$Var(y)=Var(\hat y + \epsilon)$
$=Var(\hat y)+ Var(\epsilon)+Cov(\hat y ,\epsilon)$
由Homoscedasticity的定义， $\epsilon$ 与 $X$ 无关 $Cov(x_i,\epsilon)=0$ ，而 $\hat y$ 是 $X$ 线性加权和，根据Cov的性质很容易得到 $Cov(\hat y ,\epsilon)=0$