每个人都应该懂点统计学之《赤裸裸的统计学》

@欢迎阅读刘海洋的每周一本书文章

关于作者

查尔斯·惠伦,美国达特茅斯大学教授,1997 到 2002 年间担任《经济学人》杂志驻美国中西部地区记者。主要从事经济学研究,曾在《芝加哥邮报》《纽约时报》和《华尔街日报》发表过多篇文章,所著《赤裸裸的经济学》是畅销多年的经济学普及读物。

关于本书

这是一本关于统计学常识的科普书,作者从理财投资、民意调查、医疗健康、刑事判决等生活案例中剥茧抽丝,向我们展示了妙趣横生的统计学规律。统计学并没有想想的这么难,你也可以通过这本书学习统计学。

核心内容

本书作者认为,作为大数据时代炙手可热的学问,统计学可以解决很多实际问题。可如果运用不当,统计学也会制造假象、造成误导。因此,我们很有必要掌握一些统计学中的概念和原理,它们并不艰涩难懂,却能帮我们读懂真相,预测未来。核心内容包含五个部分:

1、大数定律;
2、中心极限定理;
3、随机抽样;
4、回归分析;
5、常犯的概率学错误。

一、大数定律

相同条件下,当随机试验次数足够多时,实验结果的平均值会无限接近 “期望值”。

1. 我们可以通过研究概率,明智地选择投资理财方式

【案例】就算是某期彩票爆出大奖掏空了奖池,从长远看,发行彩票也是稳赚不赔。根据“大数定律”,发行机构只要保证彩票的销售额大于奖金期望值,就肯定赚钱,所以沉溺于博彩是非常不理智的。

对于投资门槛高、风险大,但是回报很高的项目,如果把注意力都放在高回报率上很危险。大数定律成立的前提是“试验次数足够多”,如果你没有承担多次投资失败的资本,孤注一掷的投资很可能会血本无归。
再比如最近区块链很火,好多新出的数字货币蹭蹭的涨,那么你只一味的追涨,你肯定输的很惨,但如果你资金雄厚多分配几种,那么你赢的概率就很大。

2. 帮助我们理性面对风险

【案例】对小额电子产品推出的付费延保服务,商家肯定稳赚不赔,用户选择付费延保基本上等于浪费钱。但对于那些大额度人身、财产意外险,它们更多的是一个规避风险的理性工具,帮你在遭受一些难以承受的巨大损失时渡过难关。虽然保险公司赚取了巨大的利润,这种钱我们还必须得花。
巴菲特说过:一个好的投资家首先应该学会的是避险。

二、中心极限定理

依据该定理,我们对一个基数庞大的群体做统计调查时,只要对其中的一部分样本进行研究,得出的结论就能反映整个群体的特点。
1. 如果掌握了某个群体的具体信息,就能推理出从这个群体中正确抽取随机样本的情况。

【案例】一个城市同时在举办马拉松比赛和吃热狗大赛,比赛前有一辆载满外国马拉松运动员的公交车失踪了,结果警察找到了一辆载满大胖子外国人的公交车。由于语言不通,警察只能根据经验判断:即使马拉松选手里面可能也有一两个略重的,但是满车都是胖子不大可能,因此很可能找错了车。

2. 如果已知两个样本的基本特性,就能推理出这两个样本是不是来自同一个群体。

【案例】上述案例中如果找到两辆车,乘客各自有胖有瘦,该怎么判断?这时候可以测量乘客体重,计算体重分布的标准差。根据中心极限定理,马拉松运动员群体的体重标准差是明显小于普通群体的,他们的体重分布更加集中于平均值周围。由此仍然可以判断出哪辆车是我们要找的。

三、随机抽样

这是收集数据的主要方法,核心是必须保证每个对象被抽到的概率完全相等。但大部分调查的对象是人群,人口组成非常复杂。如果不能保证等概率抽样,抽样数据就会存在“偏见”,就会得出错误结论。

****1. 选择性偏见:样本选择带有潜在倾向性时就会出现。****

【案例】1936年美国总统大选时,《文学文摘》杂志面向订阅者开展的民意测验,是史上知名度最高的统计错误。杂志编辑没有意识到,订阅这本杂志的人平均来说要比普通美国民众更富有,他们更倾向于投票给保护富人利益的共和党。这样带有选择性偏见的样本即使容量很大,也无法正确反映民意。
****2. 幸存者偏见:如果样本中有数据缺失,会导致样本组成发生改变。****

【案例】很多投资基金公司会同时开放20只新基金,经过三年的经营,总会有2到3只基金连续三年“跑赢”标准普尔指数。公司只要把十几只失败的基金悄悄关闭,大肆宣传这两三只“幸存者”,就可以把投资者的钱骗进来了。而实际上,这些“幸存”基金接下来的表现会逐渐回归平均水平。
****3. 健康用户偏见:用来比对的样本其实选择在了不同群体当中。****

【案例】假设卫生部门发现,哈佛大学新生中有98%的人在少年时期穿紫色睡衣,而监狱里的犯人中只有3%的人这样做过。因此得出了一个结论:穿紫色睡衣的孩子确实更有可能取得成功。这很显然是很荒谬的结论,这个问题在于我们用来对比的两组人根本就是两类人。真正对孩子大脑发育起作用的,是给孩子穿上紫色睡衣的家长,他们更注重对孩子的家庭教育。

四、回归分析

**1. 对那些错综复杂的问题,回归分析可以通过建模计算,从已知现象中还原未知原因,甚至可以计算每种原因对结果的贡献比例。****

【案例】医学家发现,级别较低的公务员更容易患上心脏病。 “白厅”研究项目组经过长时间纵向数据采集,比对了可能导致心脏病的一系列原因,包括低阶公务员的学历普遍偏低、烟民比例高、医疗服务差、加班多、锻炼少等等。面对这些错综复杂的变量,统计学家建立回归方程,计算了各个变量和心脏病发病率的线性关系。回归分析表明,造成心脏病高发的真正原因,是对工作缺乏控制力和话语权。而这类存在感较低的岗位,在低级别职位中更常见。

2. 电脑永远不能代替人的工作,如果在进行回归分析时遗漏了变量,就会得出危险的结论。

【案例】上世纪90年代,哈佛大学医学院对12万名女性开展纵向调查,经回归分析显示,定期摄入雌激素可以减少女性心脏病发病率,随后医院开始提供雌激素的补充治疗。而后来的临床试验发现,此举会导致乳腺癌和血栓病高发,因此死亡的女性患者可能达到上万人。
五、常犯的概率学错误

  1. “黑天鹅”事件:忽视小概率事件,有时会造成严重的后果。
    【案例】2008年美国次贷危机爆发前,整个北美金融行业都在使用同一个风险价值模型来预测投资风险。这个模型的强大之处在于它非常精确,可以预测99%的市场风险。然而,该模型是根据过去20年的市场行为建立的,不能对剩余1%的意外情况做出预测。可是,随着2007年美国商业银行房贷业务的崩溃,“黑天鹅”真的出现了,整个华尔街措手不及,一次全球大范围的金融危机因此爆发。
    2. “检方谬误”:通过统计数据推断出的结论,必定存在误差,不会100%正确。即使误差再小,也不能忽视它的存在。

【案例】假设一名法官被告知:犯罪现场遗留的 DNA 样本和被告的 DNA 相吻合,除了被告以外,这个样本和其他人 DNA 相吻合的概率只有百万分之一。如果仅凭这些证据为被告人定罪,就可能出现冤案。百万分之一的误差看似很小,但警方的 DNA 样本库数量非常庞大,通过样本比对,找到两个 DNA 特征相似的人并非不可能。

大数据时代,我们每个人都应该了解一些统计学,无论你是理科生还是文科生,也许大多数人大学学的概率论都还给老师了,通过这本书掌握最核心的点,而且很多案例帮助你理解。

我是刘海洋,每周一本书,更好的精进自己。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342

推荐阅读更多精彩内容