回归系数的解释

在最近的项目中经常会做到线性回归方面的分析,跟客户解释相关结果时,用比较学术的统计词汇阐述结果常常令人不知所云。我常常想,只有能用最简单的话跟别人解释清楚才真的证明是你懂了。于是为了让自己看起来好懂的样子,我在网上扒拉半天,找到一本《例解回归分析》:

96dda144ad3459823fe10ed50ff431adcbef840a.jpg

它恰好是一本深入浅出的书,在此十分推荐大家阅读(虽然我也还没读过多少吧!哈哈!)今天想跟大家分享的正是这本书中的内容:回归系数的解释(在48页)。
对于多元回归方程中的回归系数的解释比较混乱,可以从不同的角度进行解释。先说一下回归方程,简单线性回归方程表示一条直线,而多元线性回归方程表示一个平面(有两个预测变量时)或者一个超平面(有多个预测变量时)。在多元回归分析中,常系数的意义与简单回归中的一样,​表示:当X_1 = X_2 = ... = X_p = 0Y的值​,而回归系数\beta_j (j=1,2,...,p)则有多种解释。一种解释是,当X_j变化一个单位而其他预测变量固定取常数时,Y的改变量,这个改变量与其他预测变量固定取什么常数无关,然而,在实际中,预测变量间往往是有关联的,可能无法做到固定某些预测变量的值而改变其他变量的值,这是这种解释的弱点。

回归系数\beta_j的另一种解释是,经过其他预测变量的“调整”后,X_j对响应变量Y的贡献,因此\beta_j也称为偏回归系数。那多元回归中的“调整”如何理解呢?作者用有两个解释变量的多元回归为例说明这个问题。例如在主管业绩数据中,仅取X_1X_2作为解释变量,得到回归方程为:
\hat Y = 15.3276 + 0.7803X_1 - 0.0502X_2
作者下面用了三个步骤对“调整”的意义进行了解释:

  • 拟合YX_1的简单回归模型,得到\hat Y = 14.3763 + 0.754610X_1
    记这个简单回归模型的残差为e_{Y.X_1},该符号中,圆点之前的变量为响应变量,之后的为预测变量。我们称e_{Y.X_1}=Y-\hat Y为经过X_1“调整”之后的Y(实际上,这个调整之后的Y就是残差e_{Y.X_1}

  • 拟合X_2X_1的简单回归模型,得到\hat {X_2} = 18.9654 + 0.513032X_1
    记此回归残差为e_{X_2.X_1},也称e_{X_2.X_1}=X_2-\hat X_2为经过X_1“调整”后的X_2

  • 拟合上面两个残差的简单回归模型,其中e_{Y.X_1}是响应变量,e_{X_2.X_1}是预测变量,得到\hat e_{Y.X_1} = 0 - 0.0502e_{X_2.X_1}

一个有意思的结果是,在最后一个回归方程中,e_{X_2.X_1}的系数也是-0.0502。事实上,他们的标准误也一样,如何直观的解释呢?在第一步中,作者考察了YX_1之间的线性关系。得到的回归残差是Y中去掉X_1的线性影响之后的部分,或者说,是Y中与X_1没有线性关系的部分。第二步中,作者用X_2代替Y,重复第一步的分析,此时的残差是X_2中与X_1没有线性关系的部分,是经过X_1“调整”后的X_2。第三步简历上面的到的Y的残差和X_2的残差之间的线性关系,得到的回归系数表示,去掉X_1YX_2的线性影响之后,X_2对于Y的影响,即经过X_1调整后,X_2Y的影响。这就是对回归系数\beta_j的第二种解释。

现在回到一般的多元线性回归,回归系数\beta_j反映的是X_j对响应变量Y的贡献,这种贡献是YX_j都经过其他预测变量的线性调整后得到的。因此\beta_j也取名偏回归系数,这就是多元回归中对回归系数的第二种解释,比第一种解释统计意义深刻一些。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,302评论 5 470
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,232评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,337评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,977评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,920评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,194评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,638评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,319评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,455评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,379评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,426评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,106评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,696评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,786评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,996评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,467评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,043评论 2 341

推荐阅读更多精彩内容