很多人都认为统计学是如此的高深莫测,让普通人难以下手。记得本科时参加全国数学建模时有道题是根据土壤,阳光,肥料等等条件评价葡萄生长情况,当时折腾SPSS统计软件,也用p值处理我们的问题。考研时,重新看概率论和数理统计时仍然觉得云里雾里,很多术语也只是虚知其表。遗憾当年没有邂逅《女士品茶》这本书,不然想来也能让我在学习数理统计时多几分乐趣呢。
初次拿到这本书时,相信很多人和我一样会被《女士品茶》这个书名所吸引,如果你也以为这是一本讲述品茶或者茶道的书,那么倒不妨多看几眼。原来这本书只是借女士品茶这个小故事带领我们翻开统计学的史诗,一起去看20世纪统计学的风云人物怎么演绎这场史诗。
19世纪,科学的大厦好像已经建设完毕,科学界也形成了一种坚定的科学观念,这种观念被称为“按时钟前进的宇宙”。科学家相信,只要少量的数学公式,他们便可以描述,预测这个世界。从天上的行星到地上的石块,万物都毕恭毕敬地遵循着这些公式。1846年,科学家用牛顿数学定律预测了海王星的存在,更是科学的胜利之一。人们似乎相信,上帝造物的秘密已经完全被掌握,剩下的工作只不过是修修补补。
然而正是这些修修补补发现了大问题,让这座大厦轰然倒塌。当时的实验者们发现观测的数据与计算的数据总是不吻合,有误差,一开始只是以为大气扰动,人为差错导致的。但是随着测量精度的提高,这些误差不仅没有消失,反而变大了。人们越来越多的发现,以前的公式只是一种粗略的估计,数据上越来越多的显示出随机性。
至此,科学开始走向一种新的模式,即现实的统计模型。统计学开始逐渐走上舞台,成为20世纪的主角,并在21世纪依旧熠熠生辉。
统计学的天下###
“父母越高,孩子越高?为什么长久以来人类的身高没有大的变化?”
在《女士品茶》中最先出现的就是Galton做的这段研究。似乎有某种神秘力量让人类身高远离极端,朝着所有人的平均值靠拢。高尔顿把这个现象称为“均值回归”,很多领域都运用到了这个模型。人类的身高基本维持稳定,物种在代与代间维持相似性,不过最先以公式表现的确实他的学生Karl Pearson。
从这里开始,统计学的一个个大神们悉数登场,Karl Pearson提出了用偏斜分布思考测量出来的数据,揭示了科学研究的对象不是可以观察到的事物,而是描述观测值概率的数学分布函数,从而掀起了统计学的革命。
Gosset在吉尼斯酿造公司通过解决测量在麦芽浆发酵是其所用的酵母数量,找到了泊松分布在显示生活中的应用,大大提高了产品的稳定性。Karl Pearson在测量时都使用的大样本,Gosset在寻找小样本测试方法的过程中又提出了t检验,由于在公司就职的关系,用student的笔名发表了一系列论文。与此同时,Gosset还担当两大天才Pearson与Fisher之间的调解人,这位Fisher就是主持了女士品茶的英国男子,检测女士通过品茶猜测是茶先倒进奶里还是奶先倒进茶里的。
Fisher对统计学的贡献是无与伦比的,也是这本书里给我印象最深的。他在农场里,通过过去90年的数据,分析了农作物与气候,雨量,杀虫剂,肥料之间的关系,发表了一系列的《收成变动研究》,引入方差分析,提出最大似然方法。Pearson的方法被丢入了垃圾堆。
《女士品茶》中描述了许多Pearson与Fisher斗争的细节,比如Pearson早期拒绝发表好几篇Fisher的论文,不过后来还是Fisher不断提出的方法占据了学术界的主流,Fisher后来提到当他想要为人类的知识宝库献上一颗宝石时,他一定会受到某些人的攻击,学术研究就是不断的用最新的研究成果推翻前人的,不是说谁的是正确的,只能说谁的理论在当时最符合事物所展示出来的特征。
当然,统计学的巨变不仅仅发生在英国,在俄国,有天才的Kolmogorov,在Fisher影响下,统计学的方法传到了美国、印度、澳大利亚和加拿大,指导着各行各业的生产。统计学学科也在各国大学发芽生根,产生一大批著名的统计学家,持续地研究新问题,为统计学提供新的理论血液。
书中最有趣的地方莫过于统计学家们研究的一个个问题,从开篇的女士品茶,到大烟民Fisher固执地用统计学的观点反驳吸烟与肺癌之间的关系,再到研究杀虫剂的致死量,一个个鲜活的故事,将统计学的各种概念串联起来,最大似然估计,假设检验,中心极限定理,大数定理,p值,一个个概率论与数理统计中的术语悉数登场,却褪去了往日学习它们时冷冰冰的样子,变成了一个个精彩的故事。同样精彩的还有统计学家们的故事,天才中的天才,或固执或谦逊,共同演绎了一幅精彩的统计学史。
时至21世纪,统计学依然发出其耀眼的光芒,看似高深的统计学,其实与我们的生活有莫大的关联。大数据的流行,使越来越多的行业以数据作为驱动工具,分析数据,看到数据背后隐藏的秘密。统计学的思想大有勇武之地,如果你也对这一切有兴趣,倒不如也看看这本书,也许在做数据分析时,看到的不仅仅是繁复的数据,也能想到一个个统计学方法背后有趣的故事~
上帝掷骰子吗?我们不得而知,但唯一能描述宇宙的语言也就是数学,因为上帝一定是数学家。时代虽然在变迁,但人们对自然的好奇与向往却终究不曾变化。