t检验

一、t检验适用场景

  • 依据中心极限定理,当样本量n足够大时,无论总体分布形态如何,样本均值\overline{\text{x}}都服从正态分布N(μ,δ2/n)。其中,μ为总体的均值,δ为总体的标准差,n为样本量。此时,统计量\frac {(\overline{\text{x}}-μ)} {δ/\sqrt{n}}服从标准正态分布。如果总体的标准差δ不知道,可以利用样本的标准差S代替,因为样本数量较大时,总体的标准差和样本的标准差近似。
  • 而当样本数量较少时,总体的标准差和样本的标准差相差较大,此时,中心极限定理不在适用。而统计学家发现,在总体服从正态分布的情况下,统计量\frac {(\overline{\text{x}}-μ)} {S/\sqrt{n}}服从t分布。t分布与标准正态分布如下图所示,当样本数量n较大时,t分布接近标准正态分布;而当样本数量n较少时,相比与标准正态分布,t分布两侧尾部面积增加。
  • 因此,t检验适用于样本量较小时的检验。且样本量n通过两种方式影响p值。
    1)n增加时,由于分母减小,t检验统计量趋向增加。
    2)n增加时,t分布两侧尾部面积减小,同样的t值对应的p值会减小
    不同自由度的t分布与标准正态分布

二、t检验的三种类型

  • 单样本t检验
    用于检验样本均值与某一个标准值μ0的差别。
  • 成对样本t检验
    用于检验一组样品在某种试验条件前后样本均值是否有差别。比如对一组老鼠施加某种药剂后,生理指标是否有变化。成对样本t检验可以转换为单样本t检验:将样本中每个对象施加条件前后的数据相减,作为一个样本数据,从而检验新的样本数据均值是否为0。
  • 独立样本t检验
    用于检验两组独立样本,均值是否有差别。这两组样本的数量可能不同。
    依据两组样本的均值是否相等,可以分为方差相等的独立样本t检验方差不等的独立样本t检验。判断两个样本方差是否相等,可以利用Levene 氏检验,这个检验原假设时两个样本方差相等,很多统计学软件(如spss)会给出这个检验的p值,如果p值小于0.05,可以拒绝原假设,认为方差不等。

三、t检验的注意事项

  • 1)t检验只能检验最多两组样本的均值的差别。(超过两组,需要用方差分析)
  • 2)由于是检验均值的差别,因此,t检验适用于离散型变量的数据检验,只能用于连续性变量的数据检验。
  • 3)在样本量较小时,t检验不能用于总体不服从正态分布的假设检验。
  • 4)显著性的差异不等同于差异的显著性。
    例如,目标是比较两组样本均值是否有差别。如果分别利用两次独立样本t检验比较各组样本是否与标准值有差别,发现一组显著,另一组不显著,则不能说明两组样本均值差异一定有显著性。必须使用直接服从目标检验的统计量进行假设检验(这里必须使用独立样本t检验方法)。
  • 5)样本组内数据点之间必须是独立的。
    如果不独立,那么假设检验的结果是更倾向于显著性结果,从而更容易犯第一类错误。
    解决样本不独立的问题,可以对嵌套结构的数据,每一层数据进行数据平均,作为一个样本点;也可以使用多层模型( multilevel models,又称分层模型 hierarchical models )。这是一类专门为具有嵌套关系的数据发展出来的统计学方法,能够把数据收集过程中的不同层次、不同单元考虑进来,而不需要提前取平均,避免了前一种方法损失效能的问题。

四、多大样本算是大样本及数据正态性的检验

t检验正态性的要求时针对抽样分布而言的。依据中心极限定理,大样本下,抽样分布一定是正态分布,无论总体是否正态分布。但多大样本才算大样本?这取决于总体与正态分布相似的程度,总体越趋近正态分布的形态,抽样分布随着样本量的增加趋近正态分布的速度就越快。研究表明,大多数抽样分布在样本量大于15时,已经比较少的趋近正态分布了,这也是一些教科书上会说样本量大于15时,可以使用t检验了
如果样本量比较少,此时我们需要对数据进行正态性的检验,主要方法有以下三种:

  • 频率直方图
    观察样本的频率直方图是否符合正态分布。
  • Q-Q图
    q-q图是比较样本的n分位数与正态分布的n分位数是否呈线性关系,如果qq图为一条直线,表明样本服从正态分布。此外,q-q图可以比较样本是否服从某种已知分布,或者两组样本是否来自同一分布。
  • 夏皮罗-威尔克检验(Shapiro-Wilk test)和科尔莫戈罗夫-斯米尔诺夫检验(Kolmogorov-Smirnov test)。
    这些检验的原假设是数据符合正态分布,当 p 值足够小时拒绝原假设,认为数据不符合正态分布。使用这些检验的时候要注意,当样本足够大时,只要数据稍有一点偏离正态分布,p 值就总能小于 0.05,因而检验的结果总是倾向于显示数据为非正态分布。也就是说,如果我们的样本足够大,即使夏皮罗-威尔克检验或科尔莫戈罗夫-斯米尔诺夫检验给出小于 0.05 的 p 值,数据来自的总体仍可能是服从正态分布的。

五、数据非正态的处理方法

  • 1)数据变换
    对于右偏的分布,可以利用递增速率减缓的函数来进行数据变换,比如log(x),\sqrt{x}等。对于左偏的分布,可以利用递增速率增加的函数来进行数据变换,比如ex,x3等。
    (1)Box-Cox变换
    该变换是依据数据自动寻找最佳变换函数的方法,变换公式如下:
    y(\lambda )=\left\{\begin{matrix} \frac{y_{i}^{\lambda }-1}{\lambda },如果\lambda \neq 0;\\ ln(y_{i}),如果\lambda =0\end{matrix}\right.
    由公式可知,需要确定最佳的λ。对于每个数据,经过上述公式变换后,如果变换后数据服从正态分布,则可以确定出正态分布的均值和标准差,进而确定每个变换后数据的概率密度,然后应用极大似然估计方法来求解出λ。
    (2)数据变换的局限性
    第1,数据变换不能解决所有的非正态问题,比如对于离散型变量的分布,有多个峰的分布,数据变换无法将它们变成正态分布;第2,数据变换后,t检验的意义会发生变换,对于一些复杂变换,在数据解释方面存在不足。
  • 2)非参数检验

非参数检验适用于数据总体不服从正态分布的情况,包括以下两种:
单样本 t 检验和成对样本的 t 检验对应于威尔科克森符号秩检验,以下简称符号秩检验;
独立样本的 t 检验对应于曼-惠特尼 U 检验(也叫做曼-惠特尼秩和检验),下面简称秩和检验。

(1)秩和检验的优点:
不要求总体服从正态分布;
离散型定序变量也适用;不受个别样本极端值的影响。
(2)秩和检验的缺点:
相比与t检验,统计功效很低;
t检验直接比较的是两个样本的均值是否一致,有着直观的解释,而秩和检验比较的是一组数据大于另外一组数据的概率是不是大于0.5,只有当被比较的两组数据的分布形状完全一样而只是差一个平移的情况下,秩和检验才能等价于检验两组数据的中位数是否相等。因此,相比于t检验,秩和检验的解释更加模糊。

六、t检验中效应量的估计

  • 1)点估计
    p值大小与效应量、样本量有关,当样本量很大时,即使很小的效应量,p也会达到显著水平。因此,当t检验显著时,还需要计算效应量的大小。
    单样本t检验常用的估计指标是Cohen 氏 d 值:
    d=\frac{\mu -\mu _{0}}{\sigma }
    其中,μ为总体均值,σ为总体标准差,μ0为标准值。总体的参数可以用样本参数代替。
    由于考虑了σ,因此d值可以将来自不同数据若干t检验的效应量放到同一个尺度上进行比较。
    Jacob Cohen 曾经提出过一条经验准则,把 d 值为 0.2,0.5 和 0.8 的效应分别称为小、中、大效应。这只是粗略的划分,也没有考虑到不同学科之间的差异,因此只能作为一种参考。
    此外,成对样本t检验常用的d值:
    d=\frac{\mu_{x} -\mu _{y}}{\sqrt{\sigma _{x}^{2}+\sigma _{y}^{2}-2\rho _{xy}\sigma_{x}\sigma_{y}}}
    独立样本t检验的d值:
    d=\frac{\mu_{x} -\mu _{y}}{\sqrt{(\sigma _{x}^{2}+\sigma _{y}^{2})/2}}
  • 2)区间估计
    在一定置信水平下构建效应量估计的置信区间,可以更清晰的得知,效应量估计的不确定度和估计误差。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容