【读书】数据分析在改变我们的生活,直觉和经验还管用吗?《魔鬼统计学》

你有没有发现,购物平台总是把你曾购买过的、持续浏览过的及曾放入购物车的相关产品,源源不断地夹杂在新事物中推送给你,让你混个眼熟后,不由自主地下单。

浏览器页面也一样,你刚看过丁真,丁真便扑面而来,你扫了一眼郑爽,郑爽便层出不穷。

你记不记得,前不久曝光的某外卖平台“宰熟”事件,两部手机同一地点同时下单,会员的费用居然比新用户的还要贵。

在处处留痕的网络世界,后台里,你的喜好会随着你的行动轨迹昭然若揭,你自己可能还蒙在鼓里时,机器已经比你更了解你自己。

国际象棋大师卡斯帕罗夫的直觉就输给了大数据

这只是最普通的日常现象。实际上,统计学,作为一门技术,“你以为不能算的,其实也可以算。”以匪夷所思的方式“突破经验壁垒,用数据理性解决问题。连接现代社会底层逻辑的量化思维方式。”,会让你脑洞大开。

去年,朋友的孩子成绩上了二本线,孩子执意要去远方的普通学校上大学,本来很民主很温柔的她,一改往日作风,斩钉截铁,以不提供经济援助为由,强行让孩子放弃好高骛远的不切实幻想,在本省城选择了一所高校学统计学专业,因为内地的亲戚力推这个专业,因为她预估了这门专业的美好前景。

不管你愿不愿意,以统计学为核心的数据分析正在影响和改变着我们的生活。

带着强烈的好奇心,我读了美国计量经济学家,耶鲁大学法学院和管理学院教授,成就卓著,风靡全美的伊恩·艾瑞斯的相关作品——《魔鬼统计学》。

本书分为八个章节,名称都很耐人寻味。

第一章谁在替你思考?
第二章反直觉:随机化与最优解。
第三章概率之国
第四章医生该如何看待循证医学?
第五章传统专家vs算法方程。
第六章世界正在迅速数字化。
第七章我们找到乐趣了吗?
第八章未来需要的人才。

在“预言”——“数据分析师的崛起”部分,阿森费尔特通过公式推算葡萄酒品质,引起传统品酒师们的群起而攻之,可事实是,他的预 测与事实总是惊人的吻合。另一个例子是对球员的判定,传统的肉眼观察法被詹姆斯基于数据的分析挑战。他们俩的公式分别是:

葡萄酒品质=12.145+0.00117✘冬季降水量+0.0614✘生长季平均气温–0.00386✘收获期降水量

制造得分=(击球数+保送数)✘总垒数/(打数+保送数)

两个不同领域,靠专家的观察还是定量数据,是核心争议点。比起侧重主观的有时无法证伪的说法似乎更科学,成本更低。它能通过分析大小、速度和规模的某种组合,在看似无关的事物之间发现实证关联。。

数据的兴起并不仅限于葡萄酒和棒球两个行业,像马车和火车的竞争一样,直觉和经验知识正一次又一次输给数据分析。越来越多的人和行业在以大数据为依据做出决策。当然,凡事没有绝对,在作者看来,最优秀、最聪明人既了解统计学,又拥有专业知识。

          统计学无处不在

婚恋交友网站可以通过统计学,对爱好,性格等诸多因素进行系统分析,然后推送给你与你深度相似的人,让你看见他(她)就有似曾相识,相见恨晚的感觉。系统可能还会考虑性格互补的因素,推荐给你能够吸引你的异性,让你耳目一新,情有独钟。

企业招聘时的问卷调查等分析,可以厘清员工特质,评估应聘者的三张基本性格特征:责任心,亲和性和外向性。进而判断他是否能够胜任岗位,帮助他们寻找与工作岗位最为匹配的员工。

统计数据让超市知道哪一些商品在哪个时期最畅销,让赌场知道顾客的“痛点”是多少,以便在这时派出幸运大师或由服务生带他们去就餐,以确保他不会输红眼,下次再来“小du怡情”。让航空公司知道那些顾客能让他们获益最大化。执法部门可以将社交网络分析作为法庭工具,用于确认真正的坏蛋。

你寻找我,便知道我。
你知道我何时坐下,何时站起,你从远方感受我的思想
你晓得我的外出或躺卧,你熟悉我的一切。

          统计学推进社会进步

贝里克推动的医学界“十万人命运动”,通过进行六项改革,在五百多天之内挽救了10万人的生命。成功凸显了将循证医学结果转化成医疗保健提供者大规模行动的潜力。

计算机技术又为医生提供了便利,使面对患者的一线医生对于循证医学的系统性实践最终成为可能。很好的体现了数据驱动性决策的兴起。也改变了一些错误的传统做法。比如“雌激素疗法不会为衰老的女性带来帮助。”等。互联网已经成为年轻医生的最爱。

解剖研究显示,多达20%的致死疾病被误诊。 一家公司的“伊莎贝尔”软件的目标是改变诊断学的停滞状态。负责人说得很简单“计算机比我们更擅长记忆。”通过建立大型数据库中的搜索和检索信息,更好地为医生的诊断决策提供依据。意味着用回归和随机化实验的统计预测指导医生的选择,因为对于他们来说,医生的直觉和经验也是一种预测而已。

在法律界也是如此, 对于最高法院某一时期针对所有案件的同意和反对情况模型的预测率。正确率为75%。 而法律专家的总体正确率只有59.1%。几十年来,社会学家一直在比较超级数据分析师和传统专家的预测准确率,在各项研究中,超级数据分析师明显更胜一筹。

研究表明,过度自信不只是学术实验中的问题,他会歪曲现实世界中的决策。正如唐·贝贝里克医生所说,如果医生像空乘人员那样被迫遵循更加统一的程序,他们可能会表现得更好。这就是许多人建议至少剥夺专家的部分决策权的原因,,像“把权力关进制度的笼子里”的初衷一样,避免某些个体因情绪化和过度自信导致错误的决策。

专家自主权的下降在假释问题上尤为明显,过去25年,美国18个州用判决指导原则取代了假释系统,保留假释的州正在日益依赖于超级数据分析再犯风险评估。

那么,人的价值在哪里?我们还能做什么?作者讲述了一个来自加利福尼亚的泌尿学家芬克的例子。芬克是包皮环切术的积极倡导者。他们发现未做包皮环切术的群体成为艾滋疾病毒携带者的概率是做过包皮环切术群体的8.2倍。一位泌尿学家最初的直觉挽救了几十万人的生命。

由此得出的结论是,无论机器多先进,提供假设,输入什么和什么因素相关关键词的,需要人类来生成。所以,机器仍然需要我们。

但不管怎么说,超级数据分析正在不同领域影响现实决策,牵涉到消费者、患者、工人和广大人民。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容