1、语言计算：文本和词汇

1.1安装和入门

首先应该安装NLTK，可以从http://www.nltk.org上免费下载；
一旦安装完成，启动python，而后使用下面的语句安装本系列所需要的数据；

>>>import nltk
>>>nltk.download()

下载时间有点长~

#从NLTK的book模块中加载所有的条目：
>>> from nltk.book import *
*** Introductory Examples for the NLTK Book ***
Loading text1, ..., text9 and sent1, ..., sent9
Type the name of the text or sentence to view it.
Type: 'texts()' or 'sents()' to list the materials.
text1: Moby Dick by Herman Melville 1851
text2: Sense and Sensibility by Jane Austen 1811
text3: The Book of Genesis
text4: Inaugural Address Corpus
text5: Chat Corpus
text6: Monty Python and the Holy Grail
text7: Wall Street Journal
text8: Personals Corpus
text9: The Man Who Was Thursday by G . K . Chesterton 1908
#无论什么时候想要找到这些书本，只要输入他们的名字即可；
>>> text1
<Text: Moby Dick by Herman Melville 1851>
>>> text2
<Text: Sense and Sensibility by Jane Austen 1811>

出了简单的阅读文本以外，还有很多方法可以用来查看文本内容。

#查找书中某个词
>>> text1.concordance('monstrous')
Displaying 11 of 11 matches:
ong the former , one was of a most monstrous size . ... This came towards us ,
ON OF THE PSALMS . " Touching that monstrous bulk of the whale or ork we have r
ll over with a heathenish array of monstrous clubs and spears . Some were thick
...

关键词索引让我们可以看到上下文中的词，还有哪些词出现在相似的上下文中，可以通过在被查询的文本名后添加函数名SIMILAR(),然后在括号中插入相关词的方法来查找；

>>> text1.similar('monstrous')
true contemptible christian abundant few part mean careful puzzled
mystifying passing curious loving wise doleful gamesome singular
delightfully perilous fearless

我们可以使用函数common_contexts研究共用两个或者两个以上词汇的上下文，如：monstrous和very；使用方括号和圆括号将这些词扣起来，中间用逗号隔开；

>>> text2.common_contexts(['monstrous','very'])
a_pretty am_glad a_lucky is_pretty be_glad

自动检索出现在文本中的特定的词，并显示同一上下文中出现的其他词，我们也可以判断在文本中的位置：从文本开头算起有多少词出现，这个位置信息可以用离散图表示；

>>> text4.dispersion_plot(['citizens','democracy','freedom','duties','America'])

Figure_1.png

1.2计算词汇

#获取词汇的条目
>>> sorted(set(text3))
['!', "'", '(', ')', ',', ',)', '.', '.)', ':', ';', ';)', '?', '?)', 'A', 'Abel', 'Abelmizraim', 'Abidah', 'Abide', 'Abimael', 'Abimelech', 'Abr', 'Abrah', 'Abraham', 'Abram', 'Accad', 'Achbor', 'Adah', 'Adam', 'Adbeel', 'Admah'……]
#总词汇
>>> len(text3)
44764
#去重词汇总数
>>> len(set(text3))
2789
#某个词出现的次数
>>> text3.count('smote')
5
#对词汇文本的丰富度进行计算
>>> from __future__ import division
>>> len(text3) / len(set(text3))
16.050197203298673

1.3频数分布

我们在分析一篇文章的时候，想要看出现最频繁的50个词，称为频数分布，我们可以使用nltk提供的内置函数FreqDist()来完成；

>>> fdist1 = FreqDist(text1)
>>> fdist1
FreqDist({',': 18713, 'the': 13721, '.': 6862, 'of': 6536, 'and': 602
4, 'a': 4569, 'to': 4542, ';': 4072, 'in': 3916, 'that': 2982, ...})
>>> fdist1['whale']
906

词库中虽有长度唱过7个字符并且出现次数超过7词的词；

>>> fdist5 = FreqDist(text5)
>>> sorted([w for w in fdist5 if len(w) > 7 and fdist5[w] > 7])
['#14-19teens', '#talkcity_adults', '((((((((((', '........', 'Question', 'actually', 'anything', 'computer', 'cute.-ass', 'everyone', 'football', 'innocent', 'listening', 'remember', 'seriously', 'something', 'together', 'tomorrow', 'watching']

NLTK频率分布中定义的函数

词汇比较运算符

待续……