字符编码和字符集ASCII,Unicode,UTF-8,UTF-16,GBK区别

1、明确概念

字符集:ASCII,Unicode
字符编码规则:UTF-8,UTF-16,GBK

2. 字符集(字符表)

要把字符集表示到计算机中,计算机只认识数字,更确切来说只认识0、1,因此需要把字符集先编码成数字,再转换成01放到计算机中,比如我规定了一套字符编码,规定:

// 我的字符编码表

你-1
好-2

也就是说,数字1就代表“你”,数字2就代表“好”。以后我遇见“12”就知道这个是“你好”的意思,计算机如果用我这个编码,遇到“12”就指挥显示器打印出“你好”两个字的像素点,这样就能被人们看到了。
  我用的是这一套编码,另一个人suntus说我不认可,我要用另一套编码:

// suntus的字符编码表

笨-1
蛋-2
你-8
好-9

好了,现在在她的计算机中,遇到“12”计算机会指挥显示器显示“笨蛋”两个字,遇到“89”才会显示“你好”。那我的计算机要跟suntus的计算机通信,我传过去12(计算机只能存储数字,不能直接存储汉字),本来是想说“你好”,她那里就会显示“笨蛋”。这是个问题。
  现在我这套编码升级了,成为了中国的编码标准,suntus的成了日本的标准,那两国之间计算机通信就会乱套,同一个“12”,在中国这里显示是“你好”,到日本那里就 变成“笨蛋”(甚至是别的什么字符,比如“©¬”什么的),这是个大问题。
  全世界都意识到这个问题了,说现在我们要坐下来商量下,不能你一个标准我一个标准,我们需要把全球所有的字符都集中起来,放到一个编码表中,这样同一个“12”在各国计算机中都可以显示“你好”,世界就和谐了。于是就诞生了Unicode字符编码,规定:


// Unicode的字符编码表

你-1
好-2
a-3
b-4

(实际编码不是这个的,这里只是为了说明下问题。把英文和中文混合起来也是为了避免ascii编码干扰到这里,你在这里可以先忘记ascii和它的历史了)。
  其实除了把文字符号编码成数字,也可以编码成别的什么,比如长横短横(摩斯编码)、电脉冲(铜轴网线)、不停闪烁的光(海上信号灯)等,都是用一定规则把字符表达出来。


3. 编码解码

现在我们有个大一统的编码表了,全世界所有你见过的字符啊、符号啊都能在这个表中找到对应的数字,但是出现了另一个问题——怎么把这些数字正确的存放到计算机中?为什么会有这个问题呢,我们来看“你好”对应的Unicode编码是“12”,计算机要存储,需要换成01的二进制位,“1”换成二进制是“1”,2换成二进制是“10”,合在一起就是“110”,这样“你好”存放到计算机中就是“110”,这里的存放是不管放到计算机的磁盘还是内存中,还是通过网线传输,都必须是二进制的位。但如果计算机首先看到的是“110”呢?是该把它看成“1”(1)和“10”(2),还是“11”(3)和“0”(0),还是“110”(6)呢?全世界不能你也解释一套,他也解释一套,这样还是乱的,这就需要制定一个统一的编码解码的规则了,也就是utf-8干的事儿。
  在这里编码是把对应的数字变成二进制,放到计算机中;解码是把二进制恢复成数字,进而根据Unicode码表恢复成变成人类可读的东西。有了统一的编码解码规则,全世界所有的计算机见到“110”都会解释成“1”(1)和“10”(2),进而根据Unicode解释成“你好”,全世界再次和谐。
  除了utf-8,你也听过utf-16, utf-32,都是一些对Unicode换成的数字编码解码的规则。

常用编码转换关系

参考文章:
字符编码的通俗理解

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容