假设检验概述

讲到统计学,终究会谈到假设检验的问题,做过数据分析的人也都是耳熟能详, 但如果让你具体讲讲假设检验的原理, 什么是P值,为什么用t检验,为什么用F检验,估计能问倒一操场。

作为本公众号的开篇处女作,从假设检验入手,讲一下假设检验的基本原理与过程。

首先明确下假设检验在统计学里的位置:统计推断是统计学的重要分支,做统计推断有两个重要方法,即参数估计与假设检验。参数估计是用样本统计量估计总体参数,而假设检验,则顾名思义,先假设,后检验,例如假设均值为μ,然后根据样本信息检验均值是不是μ,实际上是要证明均值不是μ,即推翻原假设。逻辑上采用的是反证法,根据统计上的小概率原理。

举例来说,魔都官方数据说居民人均工资1w,对于我这种北漂来说就打了个大问号,然后就局部范围内做了个统计(假如样本有代表性),统计均值为7k, 那我这个结果有没有信服力,那我们可以检验一下,设置95%的置信水平,算出P值为0.0002,那我可以很自信的说官方数据在开火车,不值得信。因为P值为0.0002意味着,如果居民人均工资为1w, 那么我统计出均值为7k的概率为0.0002,这么小的概率竟然这么容易就让我碰上了,显然真实的人均工资不可能为1w啊, 这就是根据小概率原理来推翻原假设。

接下来我们讲一下假设检验的套路,讲述过程中你也许会有疑问,为什么这样,不要担心,先往下看,我会陆续对假设检验的细节作出补充,如果未涉及到可以在评论中提出,我会补充上):

套路1,提出假设,也就是我猜结果会是什么。猜完之后进入套路2,即我要拿什么去验证假设,这里我们叫做检验统计量。检验没有绝对的对错,所以我们要设定一个显著性水平,就是套路3,相当于设定一个门槛,在门外面就拒绝进门,统计学上叫拒绝域,拒绝的是原假设。套路第四步就是将门在哪儿计算出来,依据的是前两步确定的检验统计量以及显著性水平。最后就可以做出决策啦,看一下到底在门里面还是门外面。

接下来将提到的套路跟大家套路一下:

假设的提出包括原假设与备择假设。原假设(H0)则是我们收集证据想要推翻的假设, 而备择假设(H1)则是要去支持的,所以大家可以根据实际情况来设定原假设与备择假设。原假设与备择假设互斥。假设检验是围绕着对原假设是否成立展开的。假设检验还会涉及到两类错误的问题,这个内容较多,会单独讲解。

检验统计量是用于假设检验决策的统计量。如何去选择统计量呢?这与参数估计相同,需要考虑样本总体个数,样本大小,通常大于30个样品我们认为是大样本,以及总体方差是否已知,如果未知,可以用样品方差近似计算。是不是感觉有些头晕,撑住,这是做假设检验的关键,告诉你什么情况下采用什么样的检验方法,记住这儿,以后就不会没心没肺的只会t检验啦。贴心的我给大家整理了检验统计量的选择图谱,对家直接对号入座就可以啦,记住这些,再遇到假设检验的问题,你会感觉厉(niu)害(bi)的不要不要的。

配对样本的检验:两个总体参数的假设检验过程中,我们假定样本是独立的,但有种情况下样本间可能存在相依的关系,这种情况下两个正态总体的问题可以按照一个样品总体进行分析。举个例子:我想测试某个洗涤产品的洗涤效果,我可以测一下衣服洗之前的洁净程度,用产品洗之后的洁净程度,这样就得到了两个总体,可以按照方差未知的小样本t检验进行分析。但是,同是一件衣服,洗之前和洗之后数据之间是有对应关系的,我可以将洗前洗后的洁净程度做差值,检验差值是否为0,这样就转化为一个总体样本的t检验。

具体的统计量的计算公式此处未给出,主要考虑到现在都用统计软件进行计算,关键要明确自己的统计问题,选择恰当的检验统计量,然后在统计软件上就可以开挂了!

显著性α:这是犯一类错误的概率,即原假设为真时,拒绝原假设的概率。比如警察抓小偷时,明明是小偷,却判断失误当好人给放了的概率。也被称为抽样分布的拒绝域,这个可以由研究者事先确定。

计算检验统计量的值。当确定了检验统计量以及显著性α的值,通常为0.01, 0.05,0.001,就可以通过统计软件或查表得到统计量的临界值zaza/2tata/2

作出统计决策。统计决策的确定有两种方式,一种是将检验统计量的绝对值与α水平的临界值进行比较,高于临界值则拒绝原假设,低于临界值则不能拒绝。另外一种方式是采用P值进行决策。个人比较倾向第二种,当然现在的统计学软件会将这些值一并给出。我们通常将P值称为观测到的显著性水平,即当原假设为真时得到样本观察结果或者更极端结果的概率,如果P值很小,说明得到观测结果的概率很小,如果出现了,根据小概率原理,我就有理由拒绝原假设了。如果事先确定了显著性水平,比如α= 0.05,在双侧检验中可以比较P值与0.025的大小决定是否拒绝原假设,单侧检验中可以比较P值与0.05的大小进行决策。当然也可以直接使用P值,按照我们所需要的显著性水平进行决策。

image.png

image.png

以上就是假设检验的基本原理及流程。懂了这些就几乎可以秒杀一切你所遇到的假设检验问题。还有同学经常问为何把小概率标准定为0.05, 哈哈,不要问我,因为我不知道。著名英国统计学家Fisher就这样用的,无解。

image

最后给大家举个例子,一起感受一下🐂逼的人生:

“多吃谷物,将有助于减肥。”为了验证这个假设,随机抽取了35人,询问他们早餐和午餐的通常食谱,根据他们的食谱,将其分为二类,一类为经常的谷类食用者(总体1),一类为非经常谷类食用者(总体2)。然后测度每人午餐的大卡摄取量。经过一段时间的实验,得到如下结果:检验该假设(a = 0.05)

1. 原假设:u1-u2>=0

备择假设:u1-u2<0
  1. 该情况为两个总体的t检验, 计算得t=2.4869。注意此处为单侧检验。
image

3. 在0.05显著性水平上拒绝原假设。

4. 结论,没有证据证明多次谷物有助于减肥。

   (题目来源于贾俊平老师统计学课件)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容