文本表示之用空间向量模型(SVM)实现关键词—文档(网页)检索

编程环境:

anaconda + python3.7
完整代码及数据已经更新至GitHub,欢迎fork~GitHub链接


声明:创作不易,未经授权不得复制转载
statement:No reprinting without authorization


内容概述:

  • 预处理文本数据集,并且得到每个文本的VSM表示。
  • 增加查询功能:根据用户输入的单词或一句话或一段话,对其预处理后在已有的向量空间模型中进行相似度查询(类似于搜索引擎的网页搜索),然后返回最为相似的文档。

一、 背景知识介绍

查阅相关VSM的资料,在此感谢以下网页作者所提供的内容:
http://allmybrain.com/2007/10/19/similarity-of-texts-the-vector-space-model-with-python/
http://blog.josephwilk.net/projects/building-a-vector-space-search-engine-in-python.html/
https://blog.csdn.net/quicmous/article/details/71263844/

图片来源网络

图片来源网络

二、Python代码实现过程中所遇问题

1.所有文档读取的实现,探索后使用os模块内的函数能高效完成,如下所示:
# 测试文档路径
Newspath=(r"C:\Users\93568\Documents\GitHub\DataMining\Homework1VSM\20news-18828")
#小规模测试文档路径
#Newspath=(r"C:\Users\93568\Documents\GitHub\0123")
folders=[f for f in  os.listdir(Newspath)]
print(folders)
files=[]
for folderName in  folders:
    folderPath=os.path.join(Newspath, folderName)
    files.append([f for f in os.listdir(folderPath)])

document_filenames={}
i=0
for fo in range(len(folders)):
for fi in files[fo] :
document_filenames.update({i:os.path.join(Newspath,os.path.join(folders[fo],fi))})
        i+=1
2.Gbk和uincode编码传换问题:

改变编码方式,忽略错误后,修改代码如下后解决:

f = open(Newspath,'r',encoding='utf-8',errors='ignore')
fp=open(r"**** \GitHub\dictionary.txt",'w',encoding='utf-8')
3.文档预处理takenize相关问题:

        使用lower()、split()以及strip(characters)后发现效果不理想,创建得词典太大而且杂乱,打印到txt文档后居然有3M多,于是决定使用正则化的re.sub(),去掉除字母外的所有符号字符(包括数字),得到纯单词,测试后得到的词典效果大为好转,如下:

image.png
词典:
image.png

4.向量权重取值计算,TF/IDF相关方法代码实现:

image.png

计算词频(tf):

def initialize_terms_and_postings():
    global dictionary, postings
    for id in document_filenames:
        f = open(document_filenames[id],'r',encoding='utf-8',errors='ignore')
        document = f.read()
        f.close()
        terms = tokenize(document)
        d_tnum=len(terms)#预处理后每篇文档的总词数
        #print(d_tnum)
        unique_terms = set(terms)
        dictionary = dictionary.union(unique_terms)#并入总词典
        for term in unique_terms:
            c_term=terms.count(term)
            
            #postings[term][id] = (terms.count(term))/d_tnum
            if c_term>0:
                postings[term][id]=1+math.log(c_term)
            else:
                postings[term][id]=0
            # the value is the frequency of term in the document

计算df及idf:

def initialize_document_frequencies():
    global document_frequency
    for term in dictionary:
        document_frequency[term] = len(postings[term])

def inverse_document_frequency(term):
    if term in dictionary:
        return math.log(N/document_frequency[term],2)
    else:
        return 0.0

计算权重:

def imp(term,id):   
    if id in postings[term]:
        return postings[term][id]*inverse_document_frequency(term)
    else:
        return 0.0

三、实现上关键词--文档检索应用:

查询功能:
根据用户输入的单词或一句话或一段话,对其预处理后在已有的向量空间模型中进行相似度查询(类似于搜索引擎的网页搜索),然后返回最为相似的文档,根据相似值降序排列,相关核心代码如下:

def do_search():       
    query = tokenize(input("Search query >> "))
    if query == []:
        sys.exit()
    # find document ids containing all query terms.  Works by
    # intersecting the posting lists for all query terms.
    relevant_document_ids = intersection(
            [set(postings[term].keys()) for term in query])
    if not relevant_document_ids:
        print ("No documents matched all query terms.")
    else:
        scores = sorted([(id,similarity(query,id))
                         for id in relevant_document_ids],
                        key=lambda x: x[1],
                        reverse=True)
        print ("Score: filename")
        for (id,score) in scores:
            print (str(score)+": "+document_filenames[id])

小样本数据测试结果如下:

image.png

四、更新后的版本改进

1、 改进TF的算法

先前版本使用如下公式:

对于在某一特定文件里的词语来说,它的重要性(词频term frequency,TF)可表示为:
image.png

分子是该词在文件中的出现次数
分母是在文件中所有字词的出现次数之和

改进后采用如下公式:
image.png
2、改进单词的预处理,使用textblob工具包:
image.png

        而后打印出整个词典如下,整体比之前小了很多,875k728k,而且由于进行了单复数和动词形式的规整,更加规范了一些;最后对整个词典还进行调整优化,将尾部词频较少的单词从词典中删除:


image.png

五、小结:

        向量空间模型基本实现,并且能在模型基础上进行一些基本的应用测试,但由于对于文档的处理完全都是由自己编写的函数完成,入对单词的单复数、形式转换等未能处理好,还有对于过于低频和高频的用处不大的单词未处理,都有待优化。


声明:未经授权不得转载
statement:No reprinting without authorization


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345