心智乐高04 - 很傻很天真的贝叶斯定理

image

感谢大家对标题党 00 的宽容,这篇文章的完整标题应该是:很傻很天真 - 但是拥有迷妹万千 - 不黄很暴力 - 十分钟提高智商的贝叶斯定理

上一篇心智乐高探讨了基本比率谬误(base rate fallacy),跟盆友讨论时提到了贝叶斯。于是心智乐高第四篇,我们严肃正经地来八卦一下特别重要的贝叶斯定理。

等等,为什么我们要去了解一个数学定理……还是统计学定理?

在你点返回、骂辣鸡、愤而取关之前,再看几条对贝叶斯的安利:

  • 一个看上去很傻很天真的定理,却在学术和生活中意外的很强大很好用
  • 你看不见它,它却无处不在,几乎所有需要作出概率预测的地方,它都阴魂不散
  • 是机器学习的核心方法之一
  • 关键时刻可以令你智商上线,用来保命,或者挣得巨额财富

(啊,简直 POI 根妹即视感!)

贝叶斯在生活中真的有用嘛?别着急,00 先代表广大宅男/宅女提一个问题:

我发给女神/男神的微信,只有一半会收到回复,她/他是喜欢我还是讨厌我?我们有发展的可能吗……

然后我们来慢慢解答。

贝叶斯定理的由来

话说 18 世纪 70 年代,有个一个牧师叫 Thomas Bayes,为解决一个「逆向概率」问题写了一篇文章。尝试解答在没有太多可靠证据的情况下,怎样做出更符合数学逻辑的推测。

image

所谓「逆向概率」是相对「正向概率」而言。正向概率的问题很容易理解,如“假设袋子里面有 N 个白球,M 个黑球,你伸手进去摸一把,摸出黑球的概率是多大”。但是实际场景中,这个问题往往是反过来的:“如果事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色,我们可以对袋子里面黑白球的比例作出什么样的推测”。

贝叶斯推断与其他统计学推断方法截然不同。它建立在主观判断的基础上,也就是说,你可以不需要客观证据,先估计一个值,然后根据实际结果不断修正。

贝叶斯生前并没有发表他的文章,他的“朋友” Richard Price 在他死后去他的住处揩油,发现了这篇文章,并发表出来。

image

1812 年,法国人 Pierre Simona 将贝叶斯的理论进一步发展为条件概率,帮助人们在概率相关的决策过程中,通过新获得的观察结果来更正对概率的判断。

贝叶斯定理(Bayes' theorem)告知我们如何利用新证据修改已有的看法。在事件 B 出现的前提下,事件 A 出现的概率,等于 A 和 B 都出现的概率,除以 B 出现的概率。用公式表示就是:

[图片上传失败...(image-fa3701-1512554797861)]

几个相关概念:

  • 先验概率:在考虑观测数据前,能表达不确定量 p 的概率分布
  • 后验概率:在考虑和给出相关证据或数据后所得到的条件概率
  • 条件概率:事件 A 在另外一个事件 B 已经发生条件下的发生概率,表示为 P(A|B)
  • 可能性函数/似然函数:一种关于统计模型中参数的函数,用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计
image

这就是贝叶斯定理的含义:我们先预估一个「先验概率」,然后加入实验结果,看这个实验到底是增强还是削弱了「先验概率」,由此得到更接近事实的「后验概率」。

「AM I SICK?」贝叶斯定理的经典用法

假设,有一种叫做「叶贝死」的病,人群中得病概率是万分之一,即 0.0001。然后,有一种测试可以检测你是否患有「叶贝死」病,准确率为 99.9%。你做了一次测试,结果被告知得病了!

然后你的世界坍塌了,把这个不幸的消息告诉家人,开始准备遗嘱,甚至皈依了一个莫名其妙的宗教,好走完最后的日子……

image

这个时候,你的智商不知道被谁通知上线了,让我们再找回检测报告,看看遗漏了些什么。

逃出生天之图解版

我们知道,每当 1 万人中会有 1 个人患病,这也意味着另外 9999 个人没病。

再来看看检测的准确率。如果真正患病的人去做检查,那么 99.9% 的概率会被诊断出来。如果实际上没有患病的人,会有 0.1% 的概率会被误诊断。于是这 1 万人中,9989 人相安无事,总共有 11 人被诊断为「叶贝死」,但只有 1 人真正患病。

image

所以,你虽然被告知患病,但实际上真正患病的概率是:1/11 ,约 9%。

逃出生天之公式版

把题目正经描述一下:

已知「叶贝死」的发病率是0.0001,即10000人中会有1个人得病。现有一种测试可以检验患者是否得病,的准确率是0.999,即在患者确实得病的情况下,它有 99.9% 的可能呈现阳性。它的误报率是 0.1%,即在没有得病的情况下,它有 0.1% 的可能呈现阳性。 现在张三的检验结果为阳性,请问他确实得病的可能性有多大?

用贝叶斯定理进行计算,步骤是这样的:

S 表示患病事件,N表示未患病事件,Y表示检验结果为阳性事件。

我们想要计算的是,在检验结果为阳性的条件下,张三确实「叶贝死」的概率:

image

从题目中找到公式右边的三个变量:

变量 含义 题目描述
P(Y|S) 患病时检验结果为阳性的概率 在患者确实得病的情况下,它有 99.9 %的可能呈现阳性 0.999
P(S) 患病的概率 某种疾病的发病率是0.0001 0.0001
P(Y) 检验结果为阳性的概率 某种疾病的发病率是0.0001,在患者确实得病的情况下,它有 99.9% 的可能呈现阳性;患者没有得病的情况下,它有 0.1% 的可能呈现阳性 0.0001*0.999+0.9999*0.001

将表格中的值代入上面公式可得

image

结果为:9%

女/男神到底爱不爱我

正襟危坐这么久,终于可以回到正题胡说八道了。

我发给女神/男神的微信,只有一半会收到回复,她/他是喜欢我还是讨厌我?我们有发展的可能吗……

世界上不知道有多少痴汉,每天在痴痴地等着某个微信好友头像出现新消息提示。每发出一条消息,心中就有一群问题如羊驼般呼啸而过:ta 在忙吗?会不会看不到我的消息?一分钟过去了他还是没有回我的消息,我要不要再等等?刚才那条消息会不会太无聊了啊我自己可能都懒得回我怎么这么蠢啊?不过说不定 ta 今天心情好或者正在无聊地等车呢?不知道其他人给他发消息他会秒回呢还是要等高冷的一小时?哎呀如果 ta 回复了我该说些什么呢?啊啊啊什么时候可以见到 ta?我们都认识这么久了 ta 对我到底有没有意思呢?…………

生活在这些问题中,实在是太可怕了。

自黑党的痴汉们,做痴汉也要做得有极客范。用贝叶斯定理来帮助我们 YY 吧!把羊驼们哄回羊圈,沐浴斋戒,摊开纸笔,写下通往未知和答案的神奇公式:

  • P(喜欢一个人|回微信):回复微信的情况下喜欢一个人的概率
  • P(回微信|喜欢一个人):喜欢一个人时会回复微信的概率
  • P(喜欢一个人):女/男神喜欢一个人的概率
  • P(回微信):女/男神正常情况下回复微信的概率

假设你通过八卦、潜伏、收买人心、纯粹臆想等花式调研,获得了以下情报:

情报 高冷女神 C 阳光男神 S
P(回微信|喜欢一个人) 50% 100%
P(喜欢一个人) 0.1% 5%
P(回微信) 10% 90%

那么计算的结果是:

结论1:女神真难追啊!

结论2:少年你想多了,这概率比 P2P 的投资回报率还低,还是乖乖回家提升自己吧!

结论3:愚蠢的人类,用微信就想推断女/男神的心?有本事约去旅行看看?

注:这部分纯属胡说八道,请勿作为指引!如路遇女/男神,还请勇敢壁咚

你贝叶斯了吗?

贝叶斯定理,其实体现了一种概率观,它利用过往信息来逐渐逼近事件发生概率,这是一种启发式的统计学思考方式。

具有贝叶斯思维的人,并不试图刻画事件本身,甚至也不去假设那类事件是随机的,或者有一个逼近极限的总体概率。而只是从观察者信息补全的角度出发,先从以往经验中总结一个大致结果,再基于这个结果判断下次出现这类事件的概率,每次的结果会不断修正之前的判断,如此往复。这个过程反应的是我们知识状态的情况,而并非试图描述客观世界中事件发生的概率。

image

人类基因里可以给予我们的直觉只能指导我们如何觅食,躲避天敌,在危险的世界活下来。而一旦涉及到科学范畴,那些原始的直觉就不起作用了。想用更理性的思维分析周遭,就要摒弃固有的直觉,不断通过理解与学习建立新的直觉。

今天,你贝叶斯了吗?

参考资料


Kidult00 的心智乐高专题将持续寻找并学习不同学科重要的模型和“知识乐高”,帮助自黑党们更好地 Hack yourself。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335