位(bit)、字节(byte)、字符、编码

一、位/比特位

位/比特位,数据存储的最小单位。每个二进制数字0或者1就是1个位。

二、字节(Byte)

字节(Byte)是一种计量单位,表示数据量多少,它是计算机信息技术用于计量存储容量的一种计量单位。

8个位构成一个字节。即:1 byte (字节)= 8 bit (位);
1 B = 1 byte(字节);
1 KB = 1024 B(字节);
1 MB = 1024 KB;(2^10 B)
1 GB = 1024 MB;(2^20 B)
1 TB = 1024 GB;(2^30 B)

三、字符

字符是指计算机中使用的文字和符号,比如1、2、3、A、B、C、~!·#¥%……—* () ——+、等等。

a、A、中、+、*、の......均表示一个字符;
一般 utf-8 编码下,一个汉字字符占用 3 个 字节;
一般 gbk 编码下,一个汉字字符占用 2 个 字节;

四、“字节”与“字符”

它们完全不是一个维度的概念,所以两者之间没有“区别”这个说法。不同编码里,字符和字节的对应关系不同:

①ASCII码中,一个英文字母(不分大小写)占一个字节的空间,一个中文汉字占两个字节的空间。一个二进制数字序列,在计算机中作为一个数字单元,一般为8位二进制数,换算为十进制。最小值0,最大值255。

②UTF-8编码中,一个英文字符等于一个字节,一个中文(含繁体)等于三个字节。

③Unicode编码中,一个英文等于两个字节,一个中文(含繁体)等于两个字节。
符号:英文标点占一个字节,中文标点占两个字节。举例:英文句号“.”占1个字节的大小,中文句号“。”占2个字节的大小。

④UTF-16编码中,一个英文字母字符或一个汉字字符存储都需要2个字节(Unicode扩展区的一些汉字存储需要4个字节)。

⑤UTF-32编码中,世界上任何字符的存储都需要4个字节。

五、字符集

即各种各个字符的集合。也就是说汉字,字母(A、b、c)和符号(空格、引号..)会被收入标准中。

六、编码

utf-8和Unicode实际上并不是同一个层次的概念。

规定每个“字符”分别用一个字节还是多个字节存储,用哪些字节来存储,这个规定就叫做“编码”。(其实际是对字符集中进行编码,即:每个字符用二进制在计算中表示存储);
通俗的说:编码就是按照规则将字符翻译成对应的二进制数,在计算器中运行存储,用户看的时候(比如浏览器),再用对应的编码解析成用户可看懂的。
1️⃣美国ASCII码
在计算机发明的时候,由于计算机只能表示二进制的数据,美国为了交流通信方便,约定了一个编码系统,就是ASCII码,把abc..xyz...ABC...XYZ...!@#...等字符分别和0,1,2,3,4......对应,发现差不多刚好128个数,半个字节的长度,为了防止以后需要为新的符号编码,于是干脆取一个字节,最高位置为0,后七位从0-127分别对每一个符号编码。于是,计算机每次读取一个字节,然后参照ASCII表把这些编码翻译成字符。
【标准ASCII字符集】
有96个打印字符,和32个控制字符组成。一共96+32=128个;
用7位二进制数来对每1个字符进行编码;而由于7位还还不够1个字节,而电脑的内部常用字节来用处理,每个字节中多出来的最高位用0替代;
0 000 0000.........................0
0 111 1111..........................127;
从0----127,来表示128个ACSii编码;

比如:
字符 'A'----------在计算器内部用0100 0001 (65)来表示;
字符'a'-----------在计算器内部用0 110 0001 (97)来表示;

注意:'10'在计算器内部是没有编码的,因为它是字符串,而不是单个字符。可以分别对1,0字符编码存储;

【扩展ASCii字符集】将标准的ASCii最高位1,得到十进制代码128---255(1 000 0000----1 111 1111);所以字符集一共有0---255, 256个字符;

【gb2312字符集】所有汉字字符在计算机内部采用2个字节来表示,每个字节的最高位规定为1【正好与标准ASCii字符(最高位是0)不重叠,并兼容】,不支持繁体字。所以,gb2312表示汉字的编码为:129--255 (两个字节,每个字节最高位是1);小于127的字符,与ASCii编码相同。

2️⃣欧洲ISO
后来欧洲人发现很多符号(法语,德语),ASCII没办法表示,于是他们约定了一套编码,一个字节的长度,把最高位也用掉了。这套编码叫ISO。和ASCII表类似,计算机也是每次只读一个字节,然后按照ISO表,解码出字符。

3️⃣中国GBK
中国汉字有几万个,常用的有几千个,没有两个字节无法表示。于是用了两个字节来表示中文,整出一套GBK。同时兼容了ASCII编码。gbk编码规定,计算机不能在每次都只读一个字节那么死板了,要先看看第一位是不是为0,要是为0的话,就当作ASCII码来读入一个字节,不然的话就读入两个字节。

【gbk字符集】gb2312的扩充,兼容gb2312,除了收录gb2312所有的字符外,还收录了其他不常见的汉字、繁体字等。gbk中字符是一个或两个字节,单字节字符00--7F(0---127)这个区间和ASCII是一样的;双字节字符的第一个字节是在81--FE(129--254)之间。通过这个可以判断是单字节还是双字节,即:在gbk字符编码,如果第一个字节是>128的,则再往后找一个字节,组成汉字;如果第一个字节<128,则表示的是一个单字节(此时和ASCII是一样的);

4️⃣unicode
如此,各方交流很不方便。这个时候,unicode编码就出现了。这套编码表的编号从0一直算到了100多万(三个字节)。每一个区间都对应着一种语言的编码。目前几乎收纳了全世界大部分的字符。所有的字符都有唯一的编号,这就解决了解码的冲突。但是,unicode没有为编码的二进制传输和二进制解码做出规定。

计算机每次读取三个字节,参照Unicode表解码不行吗?想法是好的,但是如果类似1号编码这样的小数据编号也要三个字节的话,即0x000001,这样很浪费。于是,就出现了uft-8,utf-16,utf-32这些编码方案。utf-16是用两个字节来编码所有的字符,utf-32则选择用4个字节来编码。下面只讲一下utf-8这种解决方案,因为它用的最多,用得最多是因为在当时它的方案最好,最节省资源。

【Unicode字符集】容纳世界上所有语言字符和符号的集合(以及对应的二进制数字)
Unicode只是一个编码规范,目前实际实现的unicode编码只有三种:UTF-8,UCS-2和UTF-16,三种unicode字符集之间可以按照规范进行转换。

utf-8编码:UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码,也是一种前缀码。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须做少部分修改,即可继续使用。因此,它逐渐成为电子邮件、网页及其他存储或发送文字的应用中,优先采用的编码。

utf-8为了节省资源,采用变长编码,编码长度从1个字节到6个字节不等。

看起来,utf-16更加节省资源,节省空间。但实际上,当时互联网上绝大部分存在的资源都是英文的,英文在utf-16中也是2个字节,而在utf-8中则是1个字节。在当时,显然是utf-8更加节省资源。现在在中文世界里来比较,则是utf-16更加节省资源。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容