【NLP中文分词】二、统计分词

统计分词：为长度为 $m$ 的字符串确定其概率分布 $p(\omega_1,\omega_2,\cdots,\omega_m)$ ，其中 $\omega_1$ 到 $\omega_m$ 依次表示文本中的各个词语,一般使用二元概率模型:
$P\left(\omega_{i} | \omega_{1}, \omega_{2}, \cdots, \omega_{i-1}\right) \approx P\left(\omega_{i} | \omega_{i-1}\right)$

1. HMM隐含马尔科夫模型

引言

将分词作为字在字串中的序列标注任务。对每个字标注其词位（该字在词中的位置），现规定只有四种词位：B (词首)、 M( 词中)、 E (词尾)，S(单独成词 )

对每个字的标签记为 $o_{i}$ ,每个字记为 $\omega_{i}$ 则目标函数：

$\max =\max P\left(o_{1} o_{2} \cdots o_{n} | \omega_{1} \omega_{2} \cdots \omega_{n}\right)$

上面式子太难算，独立性假设：

$P\left(o_{1} o_{2} \cdots o_{n} | \omega_{1} \omega_{2} \cdots \omega_{n}\right)=P\left(o_{1} | \omega_{1}\right) P\left(o_{2} | \omega_{2}\right) \cdots P\left(o_{n} | \omega_{n}\right)$

这样的假设又会忽视上下文关系，可能会出现B（词首）B（词首）的问题，而两个词首不可能连续出现。

HMM

HMM是解决此问题的一种办法。
根据贝叶斯公式：

$P(o | \omega)=\frac{P(o, \omega)}{P(\omega)}=\frac{P(\omega | o) P(o)}{P(\omega)}$

$P(\omega)$ 为常数,所以目标函数：

$\max P(o | \omega) \Leftrightarrow \max P(\omega | o) P(o)$

针对 $P(\omega | o) P(o)$ 作马尔可夫假设，得到 :

$P(\omega | o)=P\left(\omega_{1} | o_{1}\right) P\left(\omega_{2} | o_{2}\right) \cdots P\left(\omega_{n} | o_{n}\right)$

又根据联合概率链式法则并进行齐次马尔可夫假设：

齐次马尔可夫假设，下一个状态只与上一个状态有关，即下一个词出现的概率只与上一个词有关，也是二元模型的假设前提

$P(o)=P\left(o_{1}\right) P\left(o_{2} | o_{1}\right) P\left(o_{3} | o_{2}\right) \cdots P\left(o_{n} | o_{n-1}\right)$

综上：

$\max P(\omega | o) P(o) = \max P\left(\omega_{1} | o_{1}\right) P\left(o_{2} | o_{1}\right) P\left(\omega_{2} | o_{2}\right) P\left(o_{3} | o_{2}\right) \cdots P\left(o_{n} | O_{n-1}\right) \mathrm{P}\left(\omega_{n} | O_{n}\right)$

$P\left(\omega_{k} | o_{k}\right)$ 称为发射概率 , $P\left(o_{k} | o_{k-1}\right)$ 称为转移概率,通过设置某些 $P\left(o_{k} | o_{k-1}\right)=0$ ，可以排除类似 BBB 、 EM 等不合理的组合。求解 $\max P(\omega | o) P(o)$ 的方法参见Veterbi 动态规划算法

最后编辑于：2019.11.25 13:35:32