1.朴素贝叶斯法是典型的生成学习方法。由训练数据集学习联合概率分布P(X,Y)，然后求得后验概率分布P(Y|X)。利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布：
联合概率分布
概率估计的方法可以是极大似然估计或贝叶斯估计。
2.朴素贝叶斯法的基本假设是条件独立性。
3.朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测。将输入x分到后验概率最大的类y。后验概率最大等价于0-1损失函数时的期望风险最小化。
4.1 朴素贝叶斯法的学习与分类
4.1.1 基本方法
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。学习先验概率分布和条件概率分布
先验概率分布
条件概率分布
条件独立性假设：用于分类的特征在类确定的条件下都是条件独立的
条件独立性假设
朴素贝叶斯法学习到生成数据的机制，属于生成模型。
朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布P(Y=ck|X=x)，将后验概率最大的类作为x的类输出
后验概率
4.1.2 后验概率最大化的含义
后验概率最大化
4.2朴素贝叶斯法的参数估计
4.2.1 极大似然估计
极大似然估计适于“模型已知，参数未定”的情况. 已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。
最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。我们所估计的模型参数，要使得产生这个给定样本的可能性最大. 该方法通常有以下几个步骤：
写出似然函数
对似然函数取对数
求导数
解似然方程
推导：朴素贝叶斯的参数估计
先验概率的极大似然估计
条件概率的极大似然估计
4.2.2 学习与分类算法
朴素贝叶斯算法
4.2.3 贝叶斯估计
条件概率的贝叶斯估计
其中，lamda>=0。
lamda=0时是极大似然估计。
lamda=1，称为拉普拉斯平滑
先验概率的贝叶斯估计
