我很喜欢的一部电影的对话:
阿甘的母亲:你听到我说的了吗, Forrest? 你跟其他人一样,并没有什么不同。
(到了学校后)
校长:你的孩子确实跟别人不一样。他的IQ 只有75 分。
阿甘的母亲:我们每个人都与众不同,先生。
------电影《阿甘正传》
为什么阿甘的母亲,刚开始讲阿甘没什么不同,后来又讲与众不同呢?
其实,我认为的第一个没什么不同,是指阿甘作为人,具有人的内核,这个内核是相同的,比如他有智商,有鼻子,有耳朵等等等等。
但是每个人为何又与众不同呢?因为具体到某个实例或者人的某个特征时候,比如眼睛,它的表型特征是不一样的,比如我的眼睛比较小,我老婆的眼睛就很大...
而正是这些表型的变异,成为了统计学存在的基础;也正是这些变异,导致了抽样误差。
1、随机与变异
什么是随机?当一件事情的结果你无法预料时,这就叫随机现象。
比如掷骰子实验,我们不能确定下次出现多大的点数。
由此,我们可以引申出随机变量这个概念!
比如,要研究收入与性别的关系,收入是一个随机变量。
(我们可能调查了1000 人的收入和性别信息,得到了1000 人的收入情况。但是,这1000 个值只是这一次调查中的结果。实际上,如果你重新调查1000 人,得到的就是另外1000 个收入值,所以收入并不一定,这也导致了随机变量的产生。)
2、抽样调查到底可不可靠?
要证明一种现象是不是真正的规律,需要在大量人群中进行验证。当然最好的办法就是调查地球上的所有人,证明在所有人中都存在这种规律。然而这过于理想化,不要说全世界,即使调查一个县的所有人都很难。
比如GWAS分析中,最好是找世界各地的代表性材料,才能更好的反应一个性状的变异程度,但是不可能把世界上的所有材料都收集起来做GWAS分析的。
其实这个时候,就可以用到抽样了!(我个人认为抽样真的是个技术活,取不好,满盘皆输。)
科学抽样,我认为不会偏离总体太多的,但是真正做到科学抽样又是极难的。比如民调,要考虑到各个阶层,你只做中产阶级的抽样,那么很抱歉,我估计统计学在美国总统竞选中将无意义。
但是不科学抽样,结果如何呢?
一个例子:
(在1936 年的美国大选中,民主党候选人罗斯福对战共和党候选人阿尔夫· 兰登。《文学文摘》当年邮寄出1000 万份问卷,回收230 万份,样本数量足够大了。经过分析后,他们预测共和党候选人阿尔夫· 兰登会战胜罗斯福当选总统。结果却是罗斯福获得了压倒性的胜利。)
为什么会出现这种结果呢?
原来《文学文摘》是按照电话号码本选出的这1000 万名调查对象,但在1936 年的美国,能装得起电话的往往是较富裕阶层、待保守立场的共和党选民,而支持罗斯福的广大工人群体基本被排除在调查范围之外,由此在样本上造成了极大偏差,从而导致结论的偏差。
而盖洛普调查公司只用了5 万样本就得出了完全相反的结果。因为他们采用了分层随机抽样方法,避免了样本来源集中某一群体,从而更客观地反映全体投票者的倾向。
有了一个代表性非常好的样本,是否就万事大吉?
显然不是,因为会有抽样误差!
3、什么是抽样误差
即使一个代表性非常好的样本,它也是无法真正等同于总体的,总会存在一定的抽样误差。
上图,我们从总体(36人)中随机抽取6人,就会发现,每次抽样,可能这6个人(作为一个样本)不尽相同,其身高均值自然也就不相同。
这种不同就是抽样误差。说得专业一些,样本统计量( 这里就是样本均数)之间的差异就体现了抽样误差。如果抽了10 次样本,计算出10 个平均身高,那么这10 个平均身高( 统计量)之间的差异就是抽样误差。
由于抽样误差的存在,如果用样本统计量直接估计总体参数,则肯定会有一定的偏差。所以在估计总体参数时需要考虑到这种偏差大小,即用置信区间(Confidence Interval)来估计总体参数。
例如, 一次抽样计算的平均身高是169cm, 但是抽样误差可能会有土2cm 的波动。所以在估计总体平均身高时,我们不会说总体的平均身高是169cm, 而是说,有一定的信心认为167~171cm这一区间包含了总体身高。
又有新问题产生了!
抽样误差的大小是如何计算的呢?
实际中不可能多次抽样,计算每个样本的统计量,然后计算各个统计量之间的差异。因此,只能通过一次样本来计算。统计学家推算出了一个公式,可以根据一次样本计算抽样误差的大小,这也就是标准误(Standard Error) 。标准误几乎在所有统计方法中都会出现,如t 检验、线性回归、Logistic 回归等,因为它可以提示结果的可靠性。如果标准误较小,则说明抽样误差小,这意味着样本很稳定,对总体的代表性很好,推论的结果应该较为可靠。但如果标准误较大,则说明抽样误差大,提示样本代表性不强,这种情况下一般需要加大样本量,否则结果不可靠。