文件操作与字符编码

1 字符编码

   计算机只认识0和1组成的二进制序列，因此任何文件中的内容（比如"hello"，"你好"这些字符串）要想被计算机识别或者想存储在计算机上都需要转换为二进制序列。那么字符与二进制序列怎么进行相互转换呢？于是人们尝试建立一个表格来存储一个字符与一个二进制序
列的对应关系。

• 编码:将字符转换为对应的二进制序列的过程叫做字符编码
• 解码:将二进制序列转换为对应的字符的过程叫做字符解码

1.1 字符编码的种类

• ASCII码
     最早建立这个字符与十进制数字对应的关系的是美国，这张表被称为ASCII码(American Standard Code for Information Interface, 美国标准信息交换代码)。ASCII码是基于拉丁字母的一套电脑编程系统，主要用于显示现代英语和其他西欧语言。它被设计为用1个字节来表示一个字符，所以ASCII码表最多只能表示2^8=256个字符。实际上ASCII码表中只有128个字符，剩余的128个字符是预留扩展用的。

  
  
  ASCII码
• GBK等各国编码
     随着计算机的普及和发展，很过国家都开始使用计算机。大家发现ASCII码预留的128个位置根本无法存储自己国家的文字和字符，因此各个国家开始制定各自的字符编码表，其中中国的的字符编码表有GB2312和GBK。
• Unicode码（万国码）
     随着世界互联网的形成和发展，各国的人们开始有了互相交流的需要。但是这个时候就存在一个问题，每个国家所使用的字符编码表都是不同的。这个时候，人们希望有一个世界统一的字符编码表来存放所有国家所使用的文字和符号，这就是Unicode。Unicode又被称为 统一码、万国码、单一码，它是为了解决传统的字符编码方案的局限性而产生的，它为每种语言中的每个字符设定了
  统一并且唯一的二进制编码。Unicode规定所有的字符和符号最少由2个字节（16位）来表示，
  所以Unicode码可以表示的最少字符个数为2^16=65536。
• UTF-8码
     为什么已经有了Unicode还要UTF-8呢？因为当时存储设备是非常昂贵的，而Unicode中规定所有字符最少要由2个字节表示。美国人认为像原来ASCII码中的字符用1个字节就可以了，因此决定创建一个新的字符编码来节省存储空间。UTF-8是对Unicode编码的压缩和优化，它不再要求最少使用2个字节，而是将所有字符和符号进行分类：
  • ascii码中的内容用1个字节保存
  • 欧洲的字符用2个字节保存
  • 东亚的字符用3个字节保存
  • ...

UTF-8是目前最常用，也是被推荐使用的字符编码。

2 字符串和字节序列的转换

2.1 字符串转字节序列

bytes = '张三'.encode() # encode默认按utf-8编码
print(bytes)
print(type(bytes))
bytes = '张三'.encode('utf-8')
print(bytes)
print(type(bytes))
bytes = '张三'.encode('gbk')
print(bytes)
print(type(bytes))

b'\xe5\xbc\xa0\xe4\xb8\x89'
<class 'bytes'>
b'\xe5\xbc\xa0\xe4\xb8\x89'
<class 'bytes'>
b'\xd5\xc5\xc8\xfd'
<class 'bytes'>

2.2 字节序列转字符串

bytes = b'\xe5\xbc\xa0\xe4\xb8\x89'
msg1 = bytes.decode()
print(msg1)
print(type(msg1))
msg1 = bytes.decode('utf-8')
print(msg1)
print(type(msg1))
msg1 = bytes.decode('gbk')
print(msg1)
print(type(msg1))

张三
<class 'str'>
张三
<class 'str'>
寮犱笁
<class 'str'>

3 文件

• 文件的概念和作用：计算机的文件就是存储在硬盘上的数据。
• 文件的存储方式：在计算机中文件是以二进制的方式保存在磁盘上的。
• 文本文件和二进制文件：
  • 文本文件（字符串）
    • 可以使用文本编辑软件查看
    • 本质上还是二进制文件
    • 例如：python的源程序
  • 二进制文件
    • 保存的内容不是给人直接阅读的，而是提供给其他软件使用的
    • 例如：图片文件、音频文件、视频文件等等
    • 二进制文件不能使用文本编辑软件查看

3.1 文件的基本操作

3.1.1 操作文件的套路

在计算机中要操作文件的套路非常固定，一共包含三个步骤：

1. 打开文件
2. 读、写文件
   读：将文件内容读入内存
   写：将内存内容写入文件
3. 关闭文件

3.1.2 操作文件的函数/方法

3.1.2.1 read()方法——读取文件

• open()函数的第一个参数是要打开的文件名（文件名区分大小写）
  • 如果文件存在，返回文件操作对象
  • 如果文件不存在，会抛出异常
• read()方法可以一次性读入并返回文件的所有内容
• close方法负责关闭文件
  • 如果忘记关闭文件，会造成系统资源消耗，而且会影响到后续对文件的访问。

file = open("demo.txt")
print(file)

text = file.read()
print(text)

file.close()

<_io.TextIOWrapper name='demo.txt' mode='r' encoding='cp936'>
hello world

注：

• open()函数默认在当前目录下查找文件
• cp936表示的是GB2312编码

file2 = open("demo.txt")
print(file2)
text2 = file2.read()
print(text2)
file2.close()

<_io.TextIOWrapper name='demo.txt' mode='r' encoding='cp936'>
锘縣ello world

   上面代码发生的过程是将存储在文件中的字符串，读取到变量中（内存中），这里涉及的事情的先后顺序是这样的，理解这些非常重要：

1. 最开始，我们用某个编辑软件（记事本程序），编辑了"hello world"四个字符，按 utf-8 编码方式保存到磁盘上，此处发生了编码过程（字符串--->字节）。
2. 接下来我们通过上面的python代码，
   打开（open）文件，此时将存储在文件中的字符串（字节，二进制），读取到变量中（内存
   中），转换成字符串。这会发生一个解码过程（字节--->字符串）。Python默认按照GB2312打开文件进行解码，而默认的编码方式是UTF-8，编码和解码的方式不同，所以发生了乱码，甚至可能会造成错误，使文件无法打开。
   解决办法：

• 指定文件的编码方式为ANSI(GB2312)
• 指定文件的打开方式为UTF-8

file2 = open("demo.txt",encoding="utf-8")
print(file2)
text2 = file2.read()
print(text2)
file2.close()

<_io.TextIOWrapper name='demo.txt' mode='r' encoding='utf-8'>
hello world

3.1.2.2 write()方法——写入文件

# 打开文件
f = open("demo.txt", "w")
print(f)
f.write("hello hello！\n")
f.write("今天天气真好")

# 关闭文件
f.close()

f = open("demo.txt","r")
content = f.read()
print(content)
f.close()

<_io.TextIOWrapper name='demo.txt' mode='w' encoding='cp936'>
hello hello！
今天天气真好

   如果看到的的中文是乱码，确认是否是以记事本程序打开，如果是用pycharm打开，看到的是乱码，和读文件是同样的道理，python默认是以gb2312的方式将中文编码，写入到文件中，pycharm默认以utf-8格式解码打开，故而看到是乱码，要想以utf-8方式将中文编码，写入到文件中，需要：

f = open("abc.txt", "w",encoding='utf-8')

   注意：open()函数的第二个参数如果是"r"的话可以不写，其他情况都得写。python默认以只读的方式打开文件。

3.2 read(),readline(),readlines()区别与用法

• read([size])方法：read([size])方法从文件当前位置起读取size个字符，若无参数size，则表示读取至文件结束为止，它的返回值为字符串对象

f = open("demo4.txt","r")
content = f.read(3)
print(content)
print(type(content))
f.close()

hel
<class 'str'>

• readline()方法：从字面意思可以看出，该方法每次读出一行内容，所以读取时占用内存小，比较适合大文件，该方法返回一个字符串对象。

f = open("demo4.txt")
line = f.readline()
print(type(line))
while line:
    print(line,end="")
    line = f.readline()
f.close()

<class 'str'>
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
hello nihaoaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
haloa
xixixixi

&38195;&38195; 注意：print()默认以换行符结尾，而每一行最后都有一个换行符，所以默认导致两行中间有个空格。

• readlines()方法：读取整个文件所有行，保存在一个列表(list)变量中，每行作为一个元素，但读取大文件会比较占内存。

f = open("demo4.txt")
line = f.readlines()
print(type(line))
print(line)
f.close()

['aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa\n', 'aaaaa\n', 'aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa\n', 'hello nihaoaaaaaaaaaaaaaaaaaaaaaa\n', 'aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa\n', 'aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa\n', 'haloa\n', 'xixixixi']

   注意到每行结尾处的换行符也被取到了。

• 最简单、最快速的逐行处理文本的方法：直接for循环文件对象

f = open("demo4.txt")
for line in f:
    print(line,end="")
f.close()

aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
hello nihaoaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
haloa
xixixixi

3.3 使用with open() as读写文件

   由于文件读写时都有可能产生IOError，一旦出错，后面的f.close()就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现，但是比较麻烦。每次都这么写实在太繁琐，所以，Python引入了with语句来自动帮我们调用close()方法

with open('a.txt', 'r') as f:
    print(f.read())

这和try ... finally是一样的，但是代码更加简洁，并且不必调用f.close()方法。

3.4 文件指针

文件指针标记从哪个位置开始读取数据

• 第一次打开文件时，通常 文件指针会指向文件的开始位置
• 当执行了read方法后，文件指针会移动到读取内容的末尾

思考 如果执行了一次 read 方法，读取了所有内容，那么再次调用 read 方法，还能够获得到内容吗？
答案：不能。第一次读取之后，文件指针移动到了文件末尾，再次调用不会读取到任何的内容

控制文件指针移动方法：f.seek(offset,whence) offset代表文件指针的偏移量，单位是字节bytes;
whence代表参照物，有三个取值

• 0：参照文件的开头
• 1：参照当前文件指针所在的位置
• 2：参照文件末尾

PS：快速移动到文件末尾f.seek（0，2） 强调：其中whence=1和whence=2只能在b 模式下使用
f.tell()函数可以得到当前文件指针的位置

with open('demo4.txt','rb') as f:
    f.seek(5,0) #指针在末尾，往前读5个字节
    print(f.read(3) .decode() )
    print(f.tell())
    f.seek(2,1)
    print(f.read(4).decode())
    print(f.tell())

aaa
8
aaaa
14

3.5 打开文件的方式总结

• 已经确定要打开的文件已存在（如果不存在会报错）。
  • 只读文本文件？用r
  • 只读非文本文件（图片等）？ 用rb
  • 要既读又写？ 在后边添个+号增加权限， 用r+ 或者rb+
• 不确定要打开的文件是否存在，如果该文件已存在则打开文件，并从开头开始编辑，即原有内容会被替换。如果该文件不存在，创建新文件。
  • 只写文本文件 ？ 用w
  • 只写非文本文件（图片等）？ 用wb
  • 要既读又写？ 在后边添个+号增加权限， 用w+ 或者 wb+
• 不确定要打开的文件是否存在，而且想要追加写入（不替换原有内容，新内容写入到已有内
  容后）。如果该文件不存在，创建新文件。
  • 只写文本文件 ？ 用a
  • 只写非文本文件（图片等）？ 用ab
  • 要既读又写？ 在后边添个+号增加权限， 用a+或者ab+