第二课 词向量
1、分布式词向量
Word2Vec不需要标签来创建有意义的表示。这很有用，因为在实际中常没有标记。
分布式单词向量功能强大，可用于许多应用程序，尤其是单词预测和翻译。
python中Word2Vec是在gensim包。
Word2Vec是计算密集型的。 需要安装cython。 Word2Vec在没有安装cython的情况下运行时间需要数天而不是几分钟。
安装cython教程：http://docs.cython.org/en/latest/src/quickstart/install.html
2、用pandas读取数据，使用没有标记的数据集
train= pd.read_csv("C:\\data\\labeledTrainData.tsv",header=0,delimiter="\t",quoting=3)
test= pd.read_csv("C:\\data\\testData.tsv",header=0,delimiter="\t",quoting=3)
unlabeled_train= pd.read_csv("C:\\data\\unlabeledTrainData.tsv",header=0,delimiter="\t",quoting=3)
print("Read %d labeled train views, %d labeled test reviews, and %d unlabeled reviews\n" % (train["review"].size, test["review"].size, unlabeled_train["review"].size))
处理HTML、数字和标点符号、停用词，方法跟（一）中同。
def review_to_wordlist(review,remove_stopwords=False):
#删除HTML
review_text= BeautifulSoup(review).get_text()
#删除非字母
letters_only= re.sub("[^a-zA-Z]"," ",review_text)
#标记化
words= letters_only.lower().split()
#删除停用词
if remove_stopwords:
stops= set(stopwords.words("english"))
words= [wfor win wordsif not win stops]
return(words)
2、将段落拆成句子列表，每个句子拆成一个词列表
Word2Vec输入为单个句子，每个句子是一个单词的list。所以说，输入格式是list的list。
#加载点标记器
tokenizer= nltk.data.load('tokenizers/punkt/english.pickle')
#将评论拆分为已解析的句子，返回一个句子列表，每个句子是一个词列表
def review_to_sentense(review,tokenizer,remove_stopwords=False):
#用NITK的tokenizer把段落分成句子
raw_sentence= tokenizer.tokenize(review.strip())
#把非空的句子拆成词列表
sentences= []
for raw_sentence_i in raw_sentence:
if len(raw_sentence_i)>0:
sentences.append(review_to_wordlist(raw_sentence_i,remove_stopwords))
return sentences
3、准备Word2Vec的输入
sentences= []
print("Parsing sentences from training set")
for review in train["review"]:
sentences+= review_to_sentences(review,tokenizer)
print("Parsing sentences from unlabeled set")
for review in unlabeled_train["review"]:
sentences+= review_to_sentences(review, tokenizer)
注意：对于Python list，“+ =”和“append”不同。 在许多应用中，这两者是可以互换的，但在这里，append只会附加第一个列表; 您需要使用“+ =”才能一次加入所有列表。
4、训练并保存模型
（1）导入内置日志记录模块并对其进行配置，以便Word2Vec创建良好的输出消息
import logging
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s',level=logging.INFO)
这一步没看懂是要干嘛
（2）上面已经解析好了句子，下面训练模型，关键在于参数的选择。
Architecture: skip-gram (default)或者 continuous bag of words。skip-gram 速度有点慢，但是效果很好。
Training algorithm: Hierarchical softmax (default) 或者 negative sampling。对我们来说默认的效果就不错。
Downsampling of frequent words: Google文档推荐值为 .00001 到 .001.。对我们来说，接近 0.001看起来可以提高最终模型的精确度。
Word vector dimensionality（词向量的维度）:特征多会导致运行时间长，经常但不总是会产生更好的模型 合适的值是几十到几百之间，我们使用300。
Context / window size: 训练算法考虑多少个上下文单词？对于hierarchical softmax来说，10效果不错。
Worker threads: 要运行的并行进程数，对大多数系统，适用4到6。
Minimum word count: 这有助于把词表的大小限制在有意义的单词，出现次数少于这个值的单词会给忽略掉。合适的值是10到100之间。这个案例中，因为每个电影出现了约30次，所以将minimum word count设为40，避免过分重视个别电影的标题。这产生了全部词表大约15000词。更高的值可以限制运行时间。
#设置各种参数
num_features= 300 #词向量的维度
min_word_count= 40 #词最小出现的次数(低于，被忽略)
num_workers= 4 #并行运行的线程数
context= 10 #上下文窗口数
downsampling= 1e-3 #对频繁词的取样
（3）初始化并训练 模型
from gensim.models import word2vec
print("Training model...")
model= word2vec.Word2Vec(sentences,workers=num_workers,size=num_features,min_count=min_word_count,window=context,sample=downsampling)
如果不打算进一步训练模型，调用init_sims将使模型更具内存效率。
model.init_sims(replace=True)
创建有意义的模型名称并保存模型以供以后使用， 可以稍后使用Word2Vec.load()加载它。
model_name= "300features_40minwords_10context"
model.save(model_name)
存储后，项目列表中也会多一个文件
（4）查看训练效果
doesnt_match函数：找出一个set中与其他词意思最不同的词
most_similar函数：查找与一个词含义最近的词
print(model.doesnt_match("man woman child kitchen".split()))
print(model.doesnt_match("france england germany berlin".split()))
print(model.doesnt_match("paris berlin london austria".split()))
print(model.most_similar("man"))
print(model.most_similar("awful"))
logging功能可以打印消息性信息。如果是Mac或Linux系统，可以使用终端内的“top”命令查看系统是否在模型训练时成功并行化。在模型训练的同时在终端输入：
> top -o cpu
4个worker是，第一个进程应该是python，应该300%到400%的CPU。如果CPU使用太低，可能是cython运行有问题。
