本文重新整理的更详细规范的介绍见这里

判断文本的相似度在很多地方很有用，比如在爬虫中判断多篇已爬取的文章是否相似，只对不同文章进一步处理可以大大提高效率。
在Python中，可以使用gensim模块来判断长篇文章的相似度。点这里进官网

官方的文档部分内容实在太含糊了，网上也找不到很有用的文章，所以我现在写下来记录一下自己的踩坑史。
实际中我用的是数据库抽取的批量文章，所以就不放上来了，只讲代码本身使用。
假定最初给定的格式是内容为(content_id, content)的cur数据库游标。

初步处理

在使用gensim模块之前，要对爬取的文章做一些清洗：

del_words = {
    '编辑', '责编', '免责声明', '记者 ', '摘要 ', '风险自担', '扫码下载', '（原题为', '依法追究', '严正声明',
    '关键词 ', '原标题', '原文', '概不承担', '转载自', '来源：', '仅做参考', '仅供参考', '未经授权', 
    '禁止转载', '阅后点赞', '研究员：', '本文首发', '微信公众号', '个人观点', '蓝字关注', '微信号：', '欢迎订阅', '点击右上角分享', '加入我们'
}


def filter_words(sentences):
    '''
    过滤文章中包含无用词的整条语句
    :sentences list[str]
    :return list[str]
    '''
    text = []
    for sentence in sentences:
        if sentence.strip() and not [word for word in del_words if word in sentence]:
            text.append(sentence.strip())
    return text


contents = []
for id_, content in cur:
    sentences = content.split('。')
    contents.append('。'.join(filter_words(sentences)).strip())

上面的代码中，sentences是文章的每句话构成的列表，如果爬取的结果仅仅是纯文字的全文，就可以简单的使用content.split('。')得到。
如果是使用readability模块得到的含html标签的全文，还需通过lxml转化再xpath提取纯文字的全文。

分词过滤

然后，用jieba模块进行分词并去掉无用词

from jieba import posseg as pseg


def tokenization(content):
    '''
    {标点符号、连词、助词、副词、介词、时语素、‘的’、数词、方位词、代词}
    {'x', 'c', 'u', 'd', 'p', 't', 'uj', 'm', 'f', 'r'}
    去除文章中特定词性的词
    :content str
    :return list[str]
    '''
    stop_flags = {'x', 'c', 'u', 'd', 'p', 't', 'uj', 'm', 'f', 'r'}
    stop_words = {'nbsp', '\u3000', '\xa0'}
    words = pseg.cut(content)
    return [word for word, flag in words if flag not in stop_flags and word not in stop_words]


texts = [tokenization(content) for id_, content in contents]

相似度判断

到重头戏了。
导入要使用的模块：

from gensim import corpora, models, similarities

为了把文章转化成向量表示，这里使用词袋表示，具体来说就是每个词出现的次数。连接词和次数就用字典表示。然后，用doc2bow()函数统计词语的出现次数。

dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]

准备需要对比相似度的文章

new_doc = contents[0][0]  # 假定用contents的第1篇文章对比，由于contents每个元素由id和content组成，所以是contents[0][0]
new_vec = dic.doc2bow(tokenization(new_doc))

然后，官方文档给的初步例子是tf-idf模型：

tfidf = models.TfidfModel(corpus)  # 建立tf-idf模型
index = similarities.MatrixSimilarity(tfidf[corpus], num_features=12)  # 对整个语料库进行转换并编入索引，准备相似性查询
sims = index[tfidf[new_vec]]  # 查询每个文档的相似度
print(list(enumerate(sims)))
# [(0, 1.0), (1, 0.19139354), (2, 0.24600551), (3, 0.82094586), (4, 0.0), (5, 0.0), (6, 0.0), (7, 0.0), (8, 0.0)]

上面的结果中，每个值由编号和相似度组成，例如，编号为0的文章与第1篇文章相似度为100%。
以上就是通过官方文档的入门示例判断中文文本相似度的基本代码，由于某些原因，结果可能为负值或大于1，暂且忽略，这不是重点。

这个例子中，num_features的取值需要注意，官方文档没有解释为什么是12，在大批量的判断时还使用12就会报错。实际上应该是num_features=len(dictionary)
此外，这个模型的准确度实在是令人堪忧，不知道为什么官方使用这个模型作为入门示例，浅尝辄止的话，可能就误以为现在的技术还达不到令人满意的程度。

下面我们换成lsi模型，实际体验表现很好

lsi = models.LsiModel(corpus, id2word=dic, num_topics=500)
index = similarities.MatrixSimilarity(lsi[corpus])
sims = index[lsi[new_vec]]
res = list(enumerate(sims))

其实只是换了模型名称而已，但还要注意几个点：

官方文档中LsiModel()参数用的是tfidf[corpus]，实测会导致部分结果不对。
官方文档中最初用的num_topics=2，后面又介绍了这个值最好在200-500之间即可。

好了。到这里，初步的相似度判断就完毕了。如果想要更好的显示结果，例如按相似度排序，可以使用lambda语法

res = list(enumerate(sims))
res = sorted(res, key=lambda x: x[1])
print(res)

但是这样也有问题，这只能判断单篇的结果，其他文章再对比的话，要用for循环一篇篇对比吗？
此外，显然这个方法是把文章都存在内存中，如果文章很多，每篇又很长，很容易挤爆内存。
众所周知，Python的for循环效率很低。所以，不要这样做。
gensim提供了一个类，来本地化存储所有文章并直接互相对比，这也是我真正最后使用的方法。
点击原文
原文很多地方云里雾里的，比如最基础的这个similarities.Similarity类的参数，get_tmpfile("index")是什么都没讲。
实际使用相当简单：

# 'index'只是把文章存储到本地后的文件名，所以可以随便命名，结果存储的文件名是index.0，不是文本文件，无法直接查看
index = similarities.Similarity('index', lsi[corpus], num_features=lsi.num_topics)
for i in enumerate(index):
    print(i)   # 输出对整组的相似度
# 或者，直接输出文章id分组
# percentage是相似度，可以手动设置0.9代表把90%相似度以上的输出为1组等
for l, degrees in enumerate(index):
    print(contents[l][0], [contents[i][0] for i, similarity in enumerate(degrees) if similarity >= percentage])

对比原文，注意到num_features的值不一样。原文给定的是num_features=len(dictionary)，在实际使用中，碰到大量文章时会出错：

mismatch between supplied and computed number of non-zeros

google之，在这里得到的经验，应该使用num_features=lsi.num_topics。文档给出的示例是tf-idf模型下的结果，在lsi模型下就因为传递的数据不对而可能出错。
*似乎仍然会出错，用tfidf模型转换能避免这个错误。准确率就下去了。

锦上添花：用flask做post接口

在服务器上接受post请求来运行就更加易用了，简单起见用flask作一段代码示例

from flask import Flask, request

app = Flask(__name__)


@app.route('/similar', methods=['POST'])
def similar_lst():
    if request.method == 'POST':
        ids = request.form.get('ids')
        ids = [int(i.strip()) for i in ids.split(',')]
        if ids:
            percentage = float(request.form.get('percentage'))
            contents = get_content(ids)  # 包含从数据库获取id对应的文章代码，上面省略了
            res = similar(contents, percentage)
            return json.dumps(res)


if __name__ == '__main__':
    # main()
    app.run(host='0.0.0.0', port=80)

代码中的部分函数也就是上面介绍的代码本身，只是省略了通过批量id从数据库获取contents列表的部分。

在远端运行后，本地请求可以像这样

import requests

ids = '1, 2, 3'
data = {'ids': ids, 'percentage': 0.95}
url = 'http://IP:80/similar'  # 远端的IP地址
r = requests.post(url, data=data)
for k, v in r.json().items():
    print(k, v)

来查看结果。

最后

这篇文章只是完成了一个文本判断的雏形，算是可以使用的地步而已，还可以对停用词做文件配置等来进一步优化处理。

使用jieba和gensim模块判断文本相似度

使用jieba和gensim模块判断文本相似度

初步处理

分词过滤

相似度判断

锦上添花：用flask做post接口

最后