19种回归分析你知道几种?


只要学习过数据分析,或者对数据分析有一些简单的了解,使用过spssau、spss、stata这些统计分析软件,都知道有回归分析。按照数学上的定义来看,回归分析指研究一组随机变量(Y1 ,Y2 ,…,Yi)和另一组(X1,X2,…,Xk)变量之间关系的统计分析方法,又称多重回归分析。通常Y1,Y2,…,Yi是因变量,X1、X2,…,Xk是自变量。

其实说简单点就是研究X对于Y的影响关系,这就是回归分析。但是,这并不够呢,看下图,总共19种回归(其实还有不单独列出),这如何区分,到底应该使用哪一种回归呢,这19种回归分析有啥区别呢。为什么会这如此多的回归分析呢?


一、首先回答下:为什么会有如此多的回归分析方法?

在研究X对于Y的影响时,会区分出很多种情况,比如Y有的是定类数据,Y有的是定量数据(如果不懂,可阅读基础概念),也有可能Y有多个或者1个,同时每种回归分析还有很多前提条件,如果不满足则有对应的其它回归方法进行解决。这也就解决了为什么会有如此多的回归分析方法。接下来会逐一说明这19种回归分析方法。


二、回归分析按数据类型分类

首先将回归分析中的Y(因变量)进行数据类型区分,如果是定量且1个(比如身高),通常我们会使用线性回归,如果Y为定类且1个(比如是否愿意购买苹果手机),此时叫logistic回归,如果Y为定量且多个,此时应该使用PLS回归(即偏最小二乘回归)。

线性回归再细分:如果回归模型中X仅为1个,此时就称为简单线性回归或者一元线性回归;如果X有多个,此时称为多元线性回归。

Logistic回归再细分:如果Y为两类比如0和1(比如1为愿意和0为不愿意,1为购买和0为不购买),此时就叫二元logistic回归;如果Y为多类比如1,2,3(比如DELL, Thinkpad, Mac),此时就会多分类logistic回归;如果Y为多类且有序比如1,2,3(比如1为不愿意,2为中立,3为愿意),此时可以使用有序logistic回归。如果Y为两类时,有时候会使用二元Probit回归模型。

除此之外,如果Y为定量且为多个,很多时候会将Y合并概括成1个(比如使用平均值),然后使用线性回归,反之可考虑使用PLS回归(但此种情况使用其实较少,PLS回归模型非常复杂)。


三、深入说明线性因归模型

我们常见的回归分析中,线性回归和logistic回归最为常见。也是当前研究最多,并且使用最为普遍,以及最为人接受容易理解的研究方法。

尤其是线性回归,其使用最为成熟,研究最多,而且绝大多数生活现象均可使用线性回归进行研究,因而结合回归分析还会多出一些回归方法;同时回归分析模型会有很多假定,或者满足条件,如果不满足这些假定或者条件就会导致模型使用出错,此时就有对应的其它回归模型出来解决这些问题,因而跟着线性回归后面又出来很多的回归。如下图:


线性回归是研究X对于Y的影响,如果说有多个X,希望让模型自动找出有意义的X,此时就可以使用逐步回归。另外在很一些管理类研究中会涉及到中介作用或者调节作用,此时就可能使用到分层回归或者分组回归等。

在进行线性回归分析时,如果说模型出现共线性问题VIF值很大,此时就可以使用岭回归进行解决,岭回归的使用较为广泛,其实还有Lasso回归也可以解决共线性问题,但是使用非常少而已。

如果数据中有异常值,常见的解决办法是先把异常值去除掉,但有的时候确实无法去除掉异常值,此时可考虑使用稳健回归分析模型。

线性回归的前提是X和Y之间有着线性关系,但有的时候X和Y并不是线性关系,此时就有着曲线回归和非线性回归这两种回归出来供使用,曲线回归其实质上是将曲线模型表达式转换成线性关系表达式进行研究,而非线性回归较为复杂当然使用也非常少,其和线性回归完全不是一回事情。以及Poisson回归(泊松回归)是指Y符合泊松分布特征时使用的回归研究模型。


四、其它

除此之外,还有比如加权WLS回归等,使用较少,不单独说明。

最后特别说明的一种回归模型叫Cox回归,这是医学研究中使用较多的一种方法,是研究生存影响关系,比如研究抑郁症生存时间,癌症的死亡时间影响关系情况等。

综上所述,一次性将19种回归汇总,基本上都可以在SPSSAU上面找到,关于各类回归方法的使用,以及具体原理,可查看SPSSAU官网,以及可使用SPSSAU上面的案例数据,逐一进行操作分析。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容