一、基础知识(bit vs byte vs word)
字 word
字节 byte (B)
位 bit (b)
1字节 = 8位(1 byte = 8bit)
1字 = 2字节(1 word = 2 byte)
一个汉字 = 2字节
中文标点 = 三个字节
一个英文字母 = 一个字节
英文标点 = 一个字节
Emoji表情或者某些特殊字符 = 4个字节
二、基础知识(Unicode vs ASCII)
因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte)。一个字节能表示的最大的整数就是255(2^8-1=255),而ASCII编码,占用0 - 127用来表示大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。
如果要表示中文,显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突,所以,中国制定了GB2312编码,用来把中文编进去。
类似的,日文和韩文等其他语言也有这个问题。为了统一所有文字的编码,Unicode应运而生。Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。
Unicode通常用两个字节表示一个字符,原有的英文编码从单字节变成双字节,只需要把高字节全部填为0就可以。
三、utf8 vs utf8mb4
1.utf8
是针对Unicode的一种可变长度字符编码。由于对可以用ASCII表示的字符使用UNICODE并不高效,因为UNICODE比ASCII占用大一倍的空间,而对ASCII来说高字节的0对他毫无用处。为了解决这个问题,就出现了一些中间格式的字符集,他们被称为通用转换格式,即UTF(Unicode Transformation Format)。原来mysql支持的 utf8 编码最大字符长度为 3 字节,如果遇到 4 字节的宽字符就会插入异常了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xffff,也就是 Unicode 中的基本多文种平面(BMP)。其中包含了ASCII编码,Unicode 和 部分超出Unicode的相关文字,并对他们进行最大三字节可变长度的二进制编码。
2.utf8mb4(mb4 = most bytes 4)
所以utf8是utf8mb4的子集,除了将编码改为utf8mb4外不需要做其他转换。而在各类符号文字逐步发展的过程中,像是包括 Emoji 表情(Emoji 是一种特殊的 Unicode 编码,常见于 ios 和 android 手机上),和很多不常用的汉字,以及任何新增的 Unicode 字符等等都需要进行编码,所以utf8mb4应运而生,这也是两者最本质的区别。
相关文章(https://blog.csdn.net/qq_37054881/article/details/90023611)