作为我这样的萌新,python代码的第一步是:#coding=utf-8
环境:python3.5+jieba0.39
一、jieba包安装方法:
方法1:使用conda安装 conda install jieba
(首先使用conda search jieba
查看远程仓库有没有jieba资源,有的话就方法一安装,没有用方法二 ,原则是优先使用conda,其次选用pip)
方法2:使用pip安装 pip install jieba
二、jieba使用方法
实现的代码用到open()函数,以下是open()函数的第二个参数,其参数解释如下:
r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
r+ 打开一个文件用于读写。文件指针将会放在文件的开头。
rb+ 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
wb 以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
w+ 打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
wb+ 以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
a 打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
ab 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
a+ 打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。
ab+ 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。
下面代码实现读取txt文件(test.txt)内容,利用jieba实现分词并将分词结果写到一个新的txt文件(result.txt):
#coding=utf-8
import jieba
import jieba.posseg as pseg
fileNeedCut = 'G:/experiment/jieba/test.txt'
fileName = 'G:/experiment/jieba/result.txt'
fn = open(fileNeedCut, "r", encoding="utf-8")
f = open(fileName, "w+", encoding="utf-8")
for line in fn.readlines():
#words = pseg.cut(line) #带分词的词性
words = jieba.cut_for_search(line) #只是分词,不带词性
for w in words:
print(w, file=f)
f.close()
fn.close()
三、分词结果
分词前文件内容:
大会的主题是:不忘初心,牢记使命
分词后的内容:
大会
的
主题
是
:
不忘
初心
,
牢记
使命
注:使用words = pseg.cut(line)
可在每个分词后面添加词性标注