每个程序员都应该弄明白的字符编码与Unicode那些事.
1.预备知识
1.1 字符
字符是指计算机中使用的字母,数字,符号和其他字(中文,韩文等).
1.2 编码 与 解码
计算机使用二进制来存储数据,所以我们在屏幕上显示的所有字符,在计算机中都是用0和1表示的.
编码就是将我们屏幕中输入的字符转换为计算机可以识别的二进制的过程.
而解码就是将二进制转换为我们屏幕中所看到的字符的过程.
2.字符编码
2.1 洪荒时代
首先我们考虑一下,如果让我们自己来实现一个字符编码的设计,我们看看需要哪些原材料.我们需要<b>字符表(Abstract character repertoire)</b>来涵盖我们要表示的字符,我们还需要一个对应关于表来<b>映射字符所对应的二进制</b>.看起来这样就足够了.
然后我们回到那个洪荒年代,一开始计算机是只支持英文的,后来又扩充到了欧洲国家的一些字母,可惜然并卵,世界上还有很多国家的文字是无法覆盖的.尤其我大天朝这种汉字博大精深,数量又多.于是乎,各个国家开始为自己国家的字,指定编码标准(也就是我们上面提到的那种方式,当然还会更复杂一些,不过这样简单理解足够了),我们国家的就是GB2312,后来还有GBK,是对GB2312的扩充.然后大家都开始开开心心的用上了计算机.
2.2 互联网来也
在大家都开开心心用着的时候有个东西开开慢慢兴起,木有错,就是互联网,互联网的迅速普及,让人们第一次体会到了什么叫天涯若比邻,我们可以在网上交朋友,看网页,发邮件等等.有一次你认识了一个日本小朋友,你想问候他一下,于是你给他发了邮件,发了标准的日文过去.过了几天你收到了回信,打开一看,中文日文混杂,一脸懵逼.觉得这个日本小朋友脑子有问题.可实际上日本小朋友收到的邮件也和你收到的类似.也是乱七八糟的.那到底发生了什么事情呢?
我们先回顾一下上面,中国有一套自己的字符表,和一个对应表,日本同样.首先我们无法保证我们拥有一样的字,比如中文里有"哈",日文里可能就木有,哪怕日文里有,但是我们在对应表中表示的不同,中文的"哈"对应表里记录的是0010,而在日文里记录的可能是"0011",那会出现什么问题呢?你发了一个中文的"哈",实际上就是发了一个0010的二进制过去,而0010的二进制在日文的对应表中反推出的字可能是"呵".这就是发生上面错误的原因.也是我们常说的乱码现象.
现在你知道了,乱码实际上就是编码和解码使用的姿势不一样导致的
2.3 开天辟地
正当全世界的网民都会这事感觉到蛋疼的时候,有两伙人已经开始着手解决这个问题了,一山不能容二虎,除非...,你懂的.于是乎后来他们合作了.成为了相亲相爱的好基友.所以我们这里只介绍广为人知的unicode.遇到问题,自然就要解决,上面我们已经分析过问题出现的原因了,那要如何解决呢,unicode小分队采取的方式很简单.
把字符表统一,然后为它们编号.
2.4 一切尚未结束
unicode只是给出了标准,但是如何将一个字符对应在的数字存到计算机中,却木有定下来.后来有了三种实现方式,一种是UTF-32,UTF-16,还有UTF-8.现在最常用的就是UTF-8.具体这三种实现方式有什么区别,心急的小伙伴可以右转维基百科/百度百科.不急的话等待下回分解.
3.总结
工作中总会遇到字符编码问题,也会听到一些概念unicode,utf-8,编码,解码,乱码等等,如果不静下心来研究学习一下,很多东西想当然的去理解,遇到问题,就很难快速定位,解决.
