你有没有发现,购物平台总是把你曾购买过的、持续浏览过的及曾放入购物车的相关产品,源源不断地夹杂在新事物中推送给你,让你混个眼熟后,不由自主地下单。
浏览器页面也一样,你刚看过丁真,丁真便扑面而来,你扫了一眼郑爽,郑爽便层出不穷。
你记不记得,前不久曝光的某外卖平台“宰熟”事件,两部手机同一地点同时下单,会员的费用居然比新用户的还要贵。
在处处留痕的网络世界,后台里,你的喜好会随着你的行动轨迹昭然若揭,你自己可能还蒙在鼓里时,机器已经比你更了解你自己。
国际象棋大师卡斯帕罗夫的直觉就输给了大数据
这只是最普通的日常现象。实际上,统计学,作为一门技术,“你以为不能算的,其实也可以算。”以匪夷所思的方式“突破经验壁垒,用数据理性解决问题。连接现代社会底层逻辑的量化思维方式。”,会让你脑洞大开。
去年,朋友的孩子成绩上了二本线,孩子执意要去远方的普通学校上大学,本来很民主很温柔的她,一改往日作风,斩钉截铁,以不提供经济援助为由,强行让孩子放弃好高骛远的不切实幻想,在本省城选择了一所高校学统计学专业,因为内地的亲戚力推这个专业,因为她预估了这门专业的美好前景。
不管你愿不愿意,以统计学为核心的数据分析正在影响和改变着我们的生活。
带着强烈的好奇心,我读了美国计量经济学家,耶鲁大学法学院和管理学院教授,成就卓著,风靡全美的伊恩·艾瑞斯的相关作品——《魔鬼统计学》。
本书分为八个章节,名称都很耐人寻味。
第一章谁在替你思考?
第二章反直觉:随机化与最优解。
第三章概率之国
第四章医生该如何看待循证医学?
第五章传统专家vs算法方程。
第六章世界正在迅速数字化。
第七章我们找到乐趣了吗?
第八章未来需要的人才。
在“预言”——“数据分析师的崛起”部分,阿森费尔特通过公式推算葡萄酒品质,引起传统品酒师们的群起而攻之,可事实是,他的预 测与事实总是惊人的吻合。另一个例子是对球员的判定,传统的肉眼观察法被詹姆斯基于数据的分析挑战。他们俩的公式分别是:
葡萄酒品质=12.145+0.00117✘冬季降水量+0.0614✘生长季平均气温–0.00386✘收获期降水量
制造得分=(击球数+保送数)✘总垒数/(打数+保送数)
两个不同领域,靠专家的观察还是定量数据,是核心争议点。比起侧重主观的有时无法证伪的说法似乎更科学,成本更低。它能通过分析大小、速度和规模的某种组合,在看似无关的事物之间发现实证关联。。
数据的兴起并不仅限于葡萄酒和棒球两个行业,像马车和火车的竞争一样,直觉和经验知识正一次又一次输给数据分析。越来越多的人和行业在以大数据为依据做出决策。当然,凡事没有绝对,在作者看来,最优秀、最聪明人既了解统计学,又拥有专业知识。
统计学无处不在
婚恋交友网站可以通过统计学,对爱好,性格等诸多因素进行系统分析,然后推送给你与你深度相似的人,让你看见他(她)就有似曾相识,相见恨晚的感觉。系统可能还会考虑性格互补的因素,推荐给你能够吸引你的异性,让你耳目一新,情有独钟。
企业招聘时的问卷调查等分析,可以厘清员工特质,评估应聘者的三张基本性格特征:责任心,亲和性和外向性。进而判断他是否能够胜任岗位,帮助他们寻找与工作岗位最为匹配的员工。
统计数据让超市知道哪一些商品在哪个时期最畅销,让赌场知道顾客的“痛点”是多少,以便在这时派出幸运大师或由服务生带他们去就餐,以确保他不会输红眼,下次再来“小du怡情”。让航空公司知道那些顾客能让他们获益最大化。执法部门可以将社交网络分析作为法庭工具,用于确认真正的坏蛋。
你寻找我,便知道我。
你知道我何时坐下,何时站起,你从远方感受我的思想
你晓得我的外出或躺卧,你熟悉我的一切。
统计学推进社会进步
贝里克推动的医学界“十万人命运动”,通过进行六项改革,在五百多天之内挽救了10万人的生命。成功凸显了将循证医学结果转化成医疗保健提供者大规模行动的潜力。
计算机技术又为医生提供了便利,使面对患者的一线医生对于循证医学的系统性实践最终成为可能。很好的体现了数据驱动性决策的兴起。也改变了一些错误的传统做法。比如“雌激素疗法不会为衰老的女性带来帮助。”等。互联网已经成为年轻医生的最爱。
解剖研究显示,多达20%的致死疾病被误诊。 一家公司的“伊莎贝尔”软件的目标是改变诊断学的停滞状态。负责人说得很简单“计算机比我们更擅长记忆。”通过建立大型数据库中的搜索和检索信息,更好地为医生的诊断决策提供依据。意味着用回归和随机化实验的统计预测指导医生的选择,因为对于他们来说,医生的直觉和经验也是一种预测而已。
在法律界也是如此, 对于最高法院某一时期针对所有案件的同意和反对情况模型的预测率。正确率为75%。 而法律专家的总体正确率只有59.1%。几十年来,社会学家一直在比较超级数据分析师和传统专家的预测准确率,在各项研究中,超级数据分析师明显更胜一筹。
研究表明,过度自信不只是学术实验中的问题,他会歪曲现实世界中的决策。正如唐·贝贝里克医生所说,如果医生像空乘人员那样被迫遵循更加统一的程序,他们可能会表现得更好。这就是许多人建议至少剥夺专家的部分决策权的原因,,像“把权力关进制度的笼子里”的初衷一样,避免某些个体因情绪化和过度自信导致错误的决策。
专家自主权的下降在假释问题上尤为明显,过去25年,美国18个州用判决指导原则取代了假释系统,保留假释的州正在日益依赖于超级数据分析再犯风险评估。
那么,人的价值在哪里?我们还能做什么?作者讲述了一个来自加利福尼亚的泌尿学家芬克的例子。芬克是包皮环切术的积极倡导者。他们发现未做包皮环切术的群体成为艾滋疾病毒携带者的概率是做过包皮环切术群体的8.2倍。一位泌尿学家最初的直觉挽救了几十万人的生命。
由此得出的结论是,无论机器多先进,提供假设,输入什么和什么因素相关关键词的,需要人类来生成。所以,机器仍然需要我们。
但不管怎么说,超级数据分析正在不同领域影响现实决策,牵涉到消费者、患者、工人和广大人民。