引言

文章根据udacity自然语言处理进行整理，提供给初学者进行参考。主要围绕朴素贝叶斯算法的基本原理和使用朴素贝叶斯实现邮件分类。

1. 朴素贝叶斯算法

1.1. 概述

朴素贝叶斯是一种概率算法，基于条件概率这一概念。该算法有很多优势。比如：易于实现、训练速度快等。

1.2 贝叶斯定理

可通过一个简单的例子来了解贝叶斯定理。

假设办公室有两个人，分别是 Alex 和 Brenda ，他们在办公室的时间一样长。基于此如果要猜测其中一人是谁？在这种条件下，猜中是 Alex 的概率是 50% ，猜中 Brenda 的概率是 50 %。

在此条件下，需要更多的信息来确认身份。我们注意到 Alex 和 Brenda 两人中其中一人穿红色衣服。并因此了解到 Alex 一周有两天穿红色衣服，Brenda 一周有三天会穿红色衣服（这里的一周是指周一到周五）。根据穿红色毛衣这一条件，可以有 40 % 概率确定是 Alex 。 60 % 概率确定是Brenda。

这一技巧称为贝叶斯技巧，在没有获得红色毛衣这一信息之前，只能是50/50 的猜测，这称之为先验概率。在知道穿红色衣服之一信息之后，猜测为 40/60 ，这称作为后验概率。

贝叶斯定理的作用是根据已知的信息推出未知的信息。但在实际应用中会更复杂。

再根据上面的案例，假设工作中有一个人快速走过，但不知道是谁，可能是Alex ，也可能是Brenda。得知 Alex 和 Brenda 的工作时间, Alex 一周有 3 天在办公室，而 Brenda 一周只有 1 天在办公室。在此条件下 Alex 的先验概率为 0.75 ，即 3 / (3 + 1)， Brenda 的是 0.25, 即 1 / (3 + 1) 。

再利用红毛衣这一事件。Alex 一周有2天穿红色毛衣，Brenda 一周穿 3 天。则在红毛衣事件上，Alex 的先验概率为 0.4 , 即 2 / (3 + 2)。 Brenda 的先验概率为 0.6 ，即 3 / (3 + 2)。

根据上面两事件，如此可得到如下四种场景。可以看到四种场景概率为 1.

场景1：看到穿红衣服是 Alex 的概率为 0.75 * 0.4 。

场景2：看到没穿红衣服是 Alex 的概率为 0.75 * 0.6

场景3：看到穿红衣服的是 Brenda 的概率为 0.25 * 0.6

场景4：看到没穿红衣服是 Brenda 的概率为 0.25 * 0.4

如果只看穿红衣服的场景。即只考虑看到穿红衣服务可能是 Alex 的概率和穿红衣服可能是 Brenda 的概率。如此只需要考虑 0.75 * 0.4 和 0.25 * 0.6 两种概率。

但是这两种概率相加不等于 1 。所以需要进行归一化处理。即用某个概率除以两概率只和。如 (0.75 * 0.4 ) / (0.75 * 0.4 + 0.25 * 0.6 ) 。

如下图：P(A|R) 即表示看到穿红衣服是Alex的概率为 0.67 。 P(B|R) 穿红衣服是Brenda 的概率为 0.33 。

现在看贝叶斯定理的概念。

有一个事件 Event，这个事件的可能是 A ，可能是 B ，事件的概率用 P(A)、P(B) 表示。

在事件 A 和 B 的基础上，可能有第三个事件，事件可能发生，也可能不发生。用 R 表示发生和 R_c 表示没发生，其概率用P(R|A)、P(R_c|A)、P(B|R)、P(B|R_c) 表示。

现在就有了如下的四种场景:

假设事件R发生，需要计算 R 事件发生的概率。即计算：P(R ∩ A) 和 P(R ∩ B)

根据条件概率。 P(R ∩ A) = P(A) * P(R|A) 、 P(R ∩ B) = P(B) * P(R|B) 。

同时需要进行归一化处理，使概率相加为 1 。推断在R 发生之后是A 事件的概率 P(A|R)、以及R发生后，推断是B事件的概率 P(B|R)。公式如下：

1.3 使用贝叶斯分类邮件

将贝叶斯定理应用到机器学习中。来看一个简单的案例，垃圾邮件分类。

假设有这样的一些邮件，垃圾邮件称为 spam，非垃圾邮件称为 Ham。垃圾邮件内容可能是这样的 “Win money now ！ make cash easy ” 。正常邮件则可能是这样 “How are you ” 等等。

现在的任务是假设现在有一封邮件。需要判断该邮件是否是 spam，即垃圾邮件。对此可能需要对内容进行评估，逐个词语进行检查。当然在这里不考虑单词顺序。对于贝叶斯算法而言，不用考虑顺序。需要提取一些单词进行分析。比如 easy 、money 在垃圾邮件中出现的概率，在正常邮件中的概率。

如下图有8封邮件，其中三封“Win money now”、“Make cash easy ”、 “Cheap money， reply”为垃圾邮件 spam 。其中五封“How are you ”、“There you are ” 等为非垃圾邮件Ham。

在 spam 邮件中，出现 easy 的概率为 1/3、即 P('easy'|spam) = 1/3；出现 money 的概率为 2/3、即 P('money' | spam) = 2/3 。

在 Ham 邮件中，出现 easy 的概率为 1/5、即 P('easy'| Ham) = 1/5；出现money 的概率为 1/5、即 P('money'|Ham) = 1/5。

贝叶斯定理是根据已知信息，推断出未知信息。如当出现 money 这个词时候，是垃圾邮件的概率 P(spam|‘money’) 。来看具体的推断过程。

利用上图的 8 封邮件信息。其中已知 3 封为垃圾邮件spam、5 封为非垃圾邮件Ham。如此先验概率 P(spam) = 3/8 、P(Ham) = 5/8。

在垃圾邮件 spam 中，出现 ‘easy’ 单词的概率为 1/3 ，即 P('easy'|spam) = 1/3

在非垃圾邮件 Ham 中，出现 ‘easy’ 单词的概率为 1/5，即 P('easy'|ham) = 1/5

根据条件概率，计算垃圾邮件中包含 ‘easy’ 单词的概率，即 P(spam) * P(‘easy’|spam) = 3/8 * 1/3 = 1/8 = 0.125 。非垃圾邮件中包含 ‘easy’ 单词的概率，即 P(Ham) * P(‘easy’| Ham) = 5/8 * 1/5 = 1/8 = 0.125