有趣的编码问题

三只小熊的编码问题

本段是很多年前在 CSDN 上回复过一个很有意思的帖子,帖子楼主问:

String input = new String(x.getBytes("utf-8"),"gbk");

已知 input 的值为“三只小熊”,求变量 x 的值是什么?

如果限定 input 的值为“三只小熊”的话,那该问题无解。

首先“三只小熊”的 GBK 编码为:C8FD D6BB D0A1 D0DC,拆成字节为:C8 FD D6 BB D0 A1 D0 DC

根据 Unicode 与 UTF-8 编码转换规则:

Unicode Code     UTF-8 Code
 0000~007F      0xxxxxxx
 0080~07FF      110xxxxx 10xxxxxx
 0800~FFFF      1110xxxx 10xxxxxx 10xxxxxx
10000~10FFFF    11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

先从第一个字节 C8 开始看,C8 只能匹配第二行的转换,也就是采用两个字节,这时第一个字节匹配成功,再匹配后一个字节 FD,规范要求的第二个字节是 10xxxxxx 因此 C8 FD 转换失败,C8 这时采用 UTF-8 的占位字符 EF BF BD 即 Unicode 的 U+FFFD 来替换,在我们的平台上显示为 �ֻ 了。

关于 U+FFFD,Unicode 的描述是:

Replacement Character. A character used as a substitute for an uninterpretable character from another encoding. The Unicode Standard uses U+FFFD replacement character for this function.
“占位字符”,该字符用于替换一个无法从其他编码转换解析的字符。Unicode 标准使用 U+FFFD 占位字符用于该情况。

同理 FD 以及最后两个 D0 DC 也都不能进行转换,都被 EF BF BD 所替代。

其中的 D6 BBD0 A1 可以转换。

D6 BB 二进制数据为 11010110 10111011 正好能匹配 UTF-8 的双字节,去掉附加位为 10110 111011 再将其四位一组分开,即 0101 1011 1011 这个也就是 Unicode 字符的 U+05BB 编码。

同理,D0 A1 可以转成 Unicode 字符的 U+0421

由于 U+05BB 是一个希伯莱文附加符号 ֻhttp://www.unicode.org/charts/PDF/U0590.pdf)在 GBK 平台上没办法显示出来,因此根据系统规范也可能显示成为 �ֻ(可能有些机器能够正常显示),U+0421 是个西里尔字母 Сhttp://www.unicode.org/charts/PDF/U0400.pdf),而 U+FFFD 则全部显示为 �ֻ

由于 C8FD D6BB D0A1 D0DC 在 UTF-8 编码中并没有完全对应的字符,因此“三只小熊”的这个问题无解!

锟斤拷

“锟斤拷”的出现主要是两次编码转换错误,存在于偶数个 GBK 字符转为 UTF-8 后,再由 UTF-8 转为 GBK 导致的。

根据上一节的原因,GBK 转为 UTF-8 字符时,由于有一些 GBK 编码的字符无法使用 UTF-8 来表示,因此会使用占位字符 EF BF BD 来表示,如果 有两个 GBK 的字符无法使用 UTF-8 来转换,那么就会产生 EF BF BD EF BF BD。此后这两个 UTF-8 的字符编码又转成 GBK 了,转换成 GBK 后的字符为 EFBF BDEF BFBD,根据 GBK 编码表可知这三个字符为“锟斤拷”。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容