collections
collections是Python内建的一个集合模块，提供了许多有用的集合类。
nametuple、deque之类的
但我今天只用到了counter
counter
Counter是一个简单的计数器，例如，统计字符出现的个数：
>>> from collections import Counter
>>> c = Counter()
>>> for ch in 'programming':
... c[ch] = c[ch] + 1
...
>>> c
Counter({'g': 2, 'm': 2, 'r': 2, 'a': 1, 'i': 1, 'o': 1, 'n': 1, 'p': 1})
Counter实际上也是dict的一个子类，上面的结果可以看出，字符'g'、'm'、'r'各出现了两次，其他字符各出现了一次。
counter统计词频
#写得烂烂的代码
def count_frequency():
with open("tokens_1.txt",'r') as f:
text = f.read()
frequency = collections.Counter(text.split("|")
while True:
word = input("please input a word:")
print(frequency[word])
dictionary
概述 dictionary是一种可变容器模型，可储存任意类型对象
代码格式
d = {key1 : value1, key2 : value2 }
split()
描述
Python split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则仅分隔 num 个子字符串
语法
str.split("str", num).
- str为分隔符，默认为所有空字符，包括空格，\n,\t等
- num为分割次数
返回值
返回分割后的字符串列表
re.split()
稍微高级一点。需要先import re
下次和正则表达式一起讲
replace()
需要同时替换多个字符串时，可以使用链式replce()
'''
强行把句子末尾变换行符
这种切法很粗暴了而且也不甚准确
但我只是想尽量切成多行，而且标点符号最终也是要被去掉的
所以——
'''
line = line.replace(u"。", "\n").replace(u"」", "\n")
你值得背下来的——Python文件IO
file 对象使用 open 函数来创建，下面列出了 file 对象常用的函数： |
-
file.close()
关闭文件。关闭后文件不能再进行读写操作。 -
file.flush()
刷新文件内部缓冲，直接把内部缓冲区的数据立刻写入文件, 而不是被动的等待输出缓冲区写入。 -
file.next()
返回文件下一行。 -
file.read([size])
从文件读取指定的字节数，如果未给定或为负则读取所有。 -
file.readline([size])
读取整行，包括 "\n" 字符。 -
file.readlines([sizeint])
读取所有行并返回列表，若给定sizeint>0，返回总和大约为sizeint字节的行, 实际读取值可能比 sizeint 较大, 因为需要填充缓冲区。 -
file.seek(offset[, whence])
设置文件当前位置 -
file.tell()
返回文件当前位置。 -
file.truncate([size])
从文件的首行首字符开始截断，截断文件为 size 个字符，无 size 表示从当前位置截断；截断之后 V 后面的所有字符被删除，其中 Widnows 系统下的换行代表2个字符大小。 -
file.write(str)
将字符串写入文件，没有返回值。 -
file.writelines(sequence)
向文件写入一个序列字符串列表，如果需要换行则要自己加入每行的换行符。
open()
open() 将会返回一个 file 对象，基本语法格式如下:
open(filename, mode)
- filename：filename 变量是一个包含了你要访问的文件名称的字符串值。
- mode：mode决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。
不同模式打开文件的完全列表：
r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
r+ 打开一个文件用于读写。文件指针将会放在文件的开头。
rb+ 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
wb 以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
w+ 打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
wb+ 以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
a 打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。
ab 以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。
a+ 打开一个文件用于读写。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。
ab+ 以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。如果该文件不存在，创建新文件用于读写。
文件操作的好习惯
with open(filename) as file:一般来说你打开了文件，对它进行一番操作，完事儿了就得f.close()顺手关上，才会保存，而且不会占着内存。
但是忘记关上也是常有的事情。
但是呢，如果是这样打开的
with open(file,mode) as f:
#一番操作
它就会在操作完自己关上
所以这是一个好习惯，你要用！
而且这样才能体现我们python人的风格！
不然写出来的代码一股C的或者别的什么味道就不好了。
用 f.readlines() 而不是 f.read()
因为f.read()是把整个文件读到一个字符串里，如果你的文件很鬼死大，搞不好就崩溃了啥的。
而f.readlines()是一行一行进行操作的，比较安全。它返回一个列表哦，如果想访问字符串，用for line in f.readlines()遍历就好。
解决乱七八糟的编码问题
哎真是后悔为什么之前没有看到呢…
害我浪费美好青春…
其实如果文件里有杂七杂八的编码
害你老是出bug
比如说这种
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfe in position 0:
就真的很想打人的
不妨试试加上errors参数，值可以是'ignore'或'replace'
比如说这样子：
with open(filename, "r", encoding='utf-8', errors='ignore') as f:
突然就没bug了呢！开心吗！
