编程环境：
anaconda + Spyder
Win10 + python3.6
完整代码及数据已经更新至GitHub,欢迎fork~GitHub链接
声明：创作不易，未经授权不得复制转载
statement:No reprinting without authorization
内容概述：
- 测试sklearn中以下聚类算法在tweets数据集上的聚类效果
- 使用NMI(Normalized Mutual Information)作为评价指标
- sklearn聚类资料链接
一、sklearn提供的各种聚类方法简介：
image.png
其中各种方法的原理实现可以查看Sklearn的官方文档，不再赘诉。链接如下：
https://scikit-learn.org/stable/modules/clustering.html#
二、对tweet数据集的简单处理：
根据每条推特都有很整齐的格式，可以简单处理出需要的tweet内容文字和true_label，具体实现函数如下：
处理后得到
- ground_truth #每条推特的正确聚类标签[37,5,8,58......]
- tweets_list #处理过的推特内容列表[推特内容1，内容2，......]。
def token(line):
index = line.index(",")
Text = line[10:index-1]
cluNumber = line[index+12:-2]
return (Text,cluNumber)
def tweets_process():
global ground_truth,tweets_list
print("tweets processing...")
f = open(r"C:\Users\93568\Documents\GitHub\DataMining\work5Clustering with sklearn\data\Homework5Tweets.txt")
lines = f.readlines()#读取全部内容
for line in lines:
(text,cluNumber) = token(line)
number = int(cluNumber)
tweets_list.append(text)
ground_truth.append(number)
三、将tweet表示为tfidf的矩阵：
利用python提供的特征提取的工具包：
from sklearn.feature_extraction.text import TfidfVectorizer
def get_tfidf_matrix():
global tfidf_matrix,tweets_list
tfidf_vectorizer = TfidfVectorizer(tokenizer=token_split, lowercase=True)
'''
tokenizer: 指定分词函数
lowercase: 在分词之前将所有的文本转换成小写，因为涉及到中文文本处理，
所以最好是False,本tweet数据集已经全是小写可设为True
'''
#tfidf_matrix = tfidf_vectorizer.fit_transform(tweets_list)
#上面一行代码等价于下面两行代码
tfidf_vectorizer.fit(tweets_list)
tfidf_matrix = tfidf_vectorizer.transform(tweets_list)
# joblib.dump(tfidf_matrix, 'tfidf_matrix.pkl')
# tfidf_matrix = joblib.load('tfidf_matrix.pkl')
四、运行结果及一些问题：
（1）KMeans:
max_iter=200, n_init=20， init='k-means++'：
#####
（2） AffinityPropagation：
image.png
（3） MeanShift：
开始输入相同的tfidf矩阵时出现
TypeError: A sparse matrix was passed, but dense data is required. Use X.toarray() to convert to a dense numpy array.（使用toarray()/todense()后结果如下：）
image.png
可能是密度质心的方法对于高维数据结果很差,输出的标签结果都是0:
image.png
（4）DBSCN：
没有进行调参，默认参数运行结果如下：
image.png
（5）SpectralClustering、ward hierarchical clustering、AgglomerativeClustering、Birch：
image.png
