利用python打造“全自动公文写作神器”之构建公文词库

公文写作没有捷径可行,所谓“爬格子”,必须功在平时,要勤于积累素材,特别是一些好词、金句。这话很正确,没毛病。但却是一句正确的废话。为什么?看看老铁们日益庞大的各种收藏夹(然而再也没有看过第二遍)、堆积如山的word文档(能不能找到想要的,完全看运气)、越分越多的文件夹(N级嵌套文件夹,你让我静一静)就知道了...

素材积累,从入门到放弃……

是不是扎铁了,老心?

积累素材的意义是“随用随取”,不是把素材保存下来、划上重点就算完事了,那跟批阅“朕知道了”没区别。凡是不以“用”为目的的素材积累,都是耍流氓!!!

先看看下面这些低效率、反人性的方法:

低效率方法之一:网上摘抄的资料全放入一个word,然后靠“搜索”功能查找素材。这方法相当不科学,最大的问题在于,一段素材,可能符合某个关键词的含义,但就是没有出现这个关键词。

说起来太绕了,举个例子,干货君之前摘抄了下面这段话,觉得“接力赛”这个提法相当形象。

改革如接力赛,一棒失误造成的影响不容小觑,所以XX强调“减少失误也是效率”。

实际上,“接力赛”这个词完全可以用来写“试点”、写“推进工作”。但是上面这段话,完全没有出现“试点”两个字啊,搜“试点”是根本搜不出来的。学究一点就是,该方法不能实现“基于语义的模糊搜索”。

低效率方法之二:分门别类建立文件夹

为了解决方法一的缺陷,人类诞生了方法二——就是把上面那段话放入“试点”这个专门文件夹中,下次再写“试点”的时候,不就可以找到了吗?

且不说随着素材的日积月累,会产生多少个文件夹(甚至二级、三级文件夹)。就说一点,上面那段话,其实分属“试点”、“改革”、“推进工作”等多个领域,难不成要同时放入三个文件夹中?

分门别类建立起来的素材库,如果素材数量较少,分类不多,尚能一用。等到素材库日益庞大臃肿的时候,还不如自己百度直接找素材算了。

这不是意志力的问题,这是人类的天性。人类通常只能同时处理7个左右的信息单元,一个管理者通常最多只能有效管理15个直接下属。你让我同时面对几十个分类文件夹,你问我痛不痛苦、资不资瓷?

一、从词库源爬去素材

第一部先从人民日报评论版爬出所有评论文章,作为后面词库提取的素材。人民日报评论版囊括了国际上的风云变幻和国内时局的热点事件评论且用词讲究、立场鲜明,作为“第一爬”的资源相当合适。后面再把各类报、新闻之类的网站统统爬下来。海量的素材是后面构建词库、分析句式、打造神器的坚实基础。


先从人民日报评论版爬了150片评论文章。

二、词库提取

这里采用基于TF-IDF的文本关键词抽取方法

Python第三方工具包Scikit-learn提供了TFIDF算法的相关函数,这里主要用到了sklearn.feature_extraction.text下的TfidfTransformer和CountVectorizer函数。其中,CountVectorizer函数用来构建语料库的中的词频矩阵,TfidfTransformer函数用来计算词语的tfidf权值。

基于TF-IDF方法实现文本关键词抽取的代码执行步骤如下:

(1)读取前面提取的素材文件data.csv;

(2)获取每行记录的内容;

(3)对内容进行数据预处理操作,包括分词、筛选出符合词性的词语、去停用词,用空格分隔拼接成文本;

(4)遍历文本记录,将预处理完成的文本放入文档集corpus中;

(5)使用CountVectorizer()函数得到词频矩阵;

(6)使用TfidfTransformer()函数计算每个词的tf-idf权值;

(7)得到词袋模型中的关键词以及对应的tf-idf矩阵;

(8)遍历tf-idf矩阵,打印每篇文章的词汇以及对应的权重;

(9)对每篇文章,按照词语权重值降序排列,选取排名前50个词最为文本关键词,并写入数据框中;

(10)将最终结果写入文件result.csv中。

最终运行结果如下图所示:


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容