1.一元线性回归模型
一元回归模型的一般形式如下图所示:
该模型中包含的要点有:
- 解释变量、被解释变量
- 参数(截距项、斜率)、扰动项
- 确定部分称为总体回归线或总体回归函数
引用:《计量经济学及Stata应用》 陈强
2.OLS估计量推导
OLS,普通最小二乘法,选择alpha hat 、beta hat 使得残差平方和最小化。
残差指观测值点到“直线”的距离。这里的直线指我们希望在(x,y)平面上找到的一条直线,该直线具有离所有的观测值点最近的特性。
若直接将残差加起来,则残差和会出现正负抵消的情况。因此,需要另找它法。绝对值不易运算如无法微分,故选择取平方的方法处理。这边是SSR或RSS(残差平方和)的由来
先来看一个简单的例子,来感受下通过OLS得到待估参数:
引用:Wiki-最小二乘法
alpha hat 、beta hat推导过程如下:
首先构造目标函数,即最小化残差平方和
运用高数里的多元函数知识有:
然后对式子做简单整理有:
alpha hat 闪亮登场~
再接再厉,继续求beta hat
beta hat 闪亮登场~
基于alpha hat、beta hat得到样本回归线或样本回归函数(SRF)
由(4.10)可知改线一定经过均值点
引用:《计量经济学及Stata应用》 陈强
3OLS的正交性
接下来介绍OLS的重要特征:
残差向量与解释向量、拟合值向量正交
证明过程如下:
首先证明残差向量和解释变量正交
上面提到了3中的正规方程组,这里再回顾下:
over~
然后证明残差向量和拟合值向量正交
此处用到了残差向量和解释变量正交证明中的4.17式
over~
4.平方和分解公式
我们分两种情况讨论平方和分解公式:回归方程有常数项和无常数项
-
有常数项
此时得到平方和分解公式
关于ESS的理解:
-
无常数项
如果没有常数项,则没有alpha hat,则没有如下过程:
即无法保证残差和为0
那么下式将不再成立:
那么平方和分解公式在无常数项下不在成立
引用:《计量经济学及Stata应用》 陈强
5.拟合优度
OLS的样本回归线可以理解为离所有样本点最近的线,但是这条线到底离样本点有多近?凡事都需要有个标准。这里引入“拟合优度”来衡量样本回归线对数据的拟合优良程度。
在有常数项的情况下,根据平方和分解公式:
如果模型可以解释的部分占比越大,则样本回归线的拟合程度越好
注意:拟合优度 只能反映拟合程度的好坏,除此以外没有太多意义。评估回归方程是否显著,需要使用F检验
6.无常数项的回归
尽管一般情况下都是存在常数项的回归,但偶尔也会有无常数项的回归。例如:经济理论的要求,做模型变换时消去了常数项。
beta hat
关于无常数项的拟合优度:
7.Stata应用
在stata中做一元回归很简单