最终选择了kaggle上的Bag of Words Meets Bags of Popcorn
链接：
第一课
1、代码连接：https://github.com/wendykan/DeepLearningMovies/blob/master/BagOfWords.py
数据集：① 5000个有标签的IMDB影评
评级＜5，记为0，positive；评级＞7，记为1，negative
2500个作为训练集，2500个作为测试集，训练集与测试集不含同样电影。
② 5000个无标签的影评
③ tsv跟csv差不多，csv用的分隔符是逗号，tsv用的分隔符是制表符
2、读取文件
pandas包提供了read_csv函数
安装pandas：pip install pandas
使用：
import pandas as pd
train = pd.read_csv("labeledTrainData.tsv", header=0, \delimiter="\t", quoting=3)
print(train.shape)
print(train.columns.values)
“header = 0”表示文件的第一行包含列名，“delimiter = \ t”表示字段由制表符分隔，quoting = 3表示Python忽略双引号，否则可能会遇到错误试图读取文件。
3、数据清洗和文本处理
（1）读取文件后，要删除HTML标签，例如<br/>
用BeautifulSoup库
pip install BeautifulSoup4
example1 = BeautifulSoup(train["review"][0])
print example1.get_text()
get_text得到的结果就不含HTML标签了
（2）处理标点符号、数字和停用词——NLTK和正则表达式
①标点符号是可以反映情绪的，但是这个教程中为了简单，过滤掉所有标点。
教程中删除数字，如果想处理，可以视为单词，或者使用placeholder string占位符字符串替换他们。
删除数字和标点符号时，用re包来处理正则表达式
import re
letters_only= re.sub("[^a-zA-Z]"," ",example1.get_text())
re.sub()：要查找的内容（非小写字母和大写字母），要替换的（空格），查找的文本（删除HTML的review）
②标记化：全部转换成小写，并分成词
lower_case= letters_only.lower()
words= lower_case.split()
③处理停用词，python中有stopword list，用nltk包处理
import nltk
from nltk.corpusimport stopwords
nltk.download()
print(stopwords.words("english"))
words= [w for w in words if not w in stopwords.words("english")]
找出在文本中， 但是不在停用词列表中的单词
u代表unicode字符串
4、上述为处理一条评论，现封装成函数来处理25000条评论
def review_to_words(raw_review):
#输入一条原始评论，输出一条处理后的评论
#删除HTML
review_text= BeautifulSoup(raw_review).get_text()
#删除非字母
letters_only= re.sub("[^a-zA-Z]"," ",review_text)
#标记化
words= letters_only.lower().split()
#删除停用词
stops= set(stopwords.words("english")) #转为set速度更快
meaningful_words= [wfor win wordsif not win stops]
#将单词组成字符串，用空格分开
return(" ".join(meaningful_words))
调用函数，处理25000条评论
num_reviews= train["review"].size
#处理后的评论数组
clean_train_reviews= []
print("Cleaning and parsing the training set movie reviews...\n")
for i in range(0, num_reviews):
if((i+1)%1000 == 0):
print("Review %d of %d\n" % (i+1, num_reviews))
clean_train_reviews.append(review_to_words(train["review"][i]))
5、从词袋中创造特征
①计数
Sentence 1: "The cat sat on the hat"
Sentence 2: "The dog ate the cat and the hat"
{ the, cat, sat, on, hat, dog, ate, and }
Sentence 1: { 2, 1, 1, 1, 1, 0, 0, 0 }
Sentence 2: { 3, 1, 0, 0, 1, 1, 1, 1}
②取前5000个频率最高的词来做特征向量
使用scikit-learn中的feature_extraction模块来创建词袋功能
vectorizer= CountVectorizer(analyzer = "word",tokenizer = None,preprocessor = None, stop_words = None,max_features = 5000)
train_data_features= vectorizer.fit_transform(clean_train_reviews)
#转换为数组
train_data_features= train_data_features.toarray()
print(train_data_features.shape)
fit_transform()有两个功能：首先，它适合模型并学习词汇; 第二，它将训练数据转换为特征向量。输入应该是字符串列表。
词袋模型已经建立好了，词表中的词为：
vocab = vectorizer.get_feature_names()
打印词表中每个词的计数
dist= np.sum(train_data_features,axis=0)
for tag, countin zip(vocab, dist):
print(count, tag)
6、随机森林
随机森林分类器。 随机森林算法包含在scikit-learn中，将树的数量设置为100。
print("Training the random forest...")
#初始化100个树的随机森林分类器
forest= RandomForestClassifier(n_estimators = 100)
#词袋作为特征，情绪标签作为响应变量
forest= forest.fit(train_data_features,train["sentiment"])
测试集中使用“transform”，而不是像训练集那样调用“fit_transform”。测试集不用于fit，否则会过拟合。
