Protobuf原理分析小结

参考资料:
https://blog.csdn.net/zxhoo/article/details/53228303
https://blog.csdn.net/carson_ho/article/details/70568606

1、什么是Protobuf

Protobuf是一个网络通信协议,提供了高效率的序列化和反序列化机制,序列化就是把对象转换成二进制数据发送给服务端,反序列化就是将收到的二进制数据转换成对应的对象。

2、Protobuf消息结构

image.png

使用以Java为例:

byte[] data = Test.newBuilder()
  .setA(3).setB(2).setC(1)
  .build().toByteArray();

上面对Protobuf的定义,比如:

int32 a = 1;

这个定义不是赋值,它只是定义了a字段的tag,tag包含了数据类型(int32)和字段序号(1),真正的赋值的在使用的时候,比如上面的Java代码。
序列化之后的数据相当于Key-Value形式,T-V:


image.png

其中,tag有三个作用,一个保证字段不重复,二是保证它是数据流中的位置,三是标记了数据类型。所以,tag是由fieldNumber和wireType组成,fieldNumber保证了字段不重复和它是数据流中的位置,wireType标记了数据类型。

3、Protobuf优点

体积小、效率高;
使用简单、兼容性好、维护简单;
加密性好;
跨平台。

兼容性好

使用Json的时候,有这么一种情况,某个字段值为null或者某个key为null时,Android或IOS相应的Json解析库可能会报错,而Protobuf很好的解决了这问题。

比如,Json序列化的时候,二进制信息如下:


image.png

这种定义,可以对数据顺序写入,然后再顺序读取,这样带来一个问题就是,某些字段没有赋值的情况下,不得不传一个默认值,假如field2没有赋值,那么整个解析包偏移量都会出错,最终整个包的数据读不出。

而Protobuf引入了Tag,解决了这个问题:


image.png

每个field都是由tag和value组成,解析的时候,先读tag,然后通过tag知道value的数据类型,再获取value,写的时候也是一样,先写入tag再写入value。

因为每个field都定义了tag,如果field没有赋值,编码的时候tag不会被写入流中,相应的也不会有它的Value,相对应的解析的时候,如果数据中没有这个field的tag,可以直接无视,读取其他field。

比如上述的常规定义的的二进制信息,在field2没有赋值的情况下,protobuf可以这样:
image.png

还有另外一种兼容的情况,比如:message需要增加一个字段,如果客户端没有升级,服务端升级了,这个时候客户端是旧的message,服务端用的是新的message。

客户端的旧的message:
image.png

服务端的新的message:
image.png

这样子,客户端接收到服务端发送过来的数据流是这样的:
image.png

而当客户端解析这数据的时候,发现数据流里面有个tag为3,但是在客户端的协议里找不到对应的tag,然后通过数据流这个tag,这点了它是数据类型是int64,所以知道了这个tag的值占了8个字节,于是Protobuf就会跳过这8个字节,继续解析后面的数据。

效率高、体积小

Protobuf之所以效率比Json、XML高,是因为内部采用了很巧妙的编码方式,来达到数据压缩的目的,比如:
对于 int32类型的数字,一般需要4个字节表示,比如1和300:

00000000 00000000 00000000 00000001 //1
00000000 00000000 00000001 00101100 //300

而通过Protobuf压缩之后是这样的:

00000001 //1
10101100 00000010 //300
Varint编码

原理:值越小的数字,使用越少的字节数表示
作用:通过减少表示数字的字节数从而进行数据压缩
Varint编码高位有特殊含义:如果是1,表示后续的字节也是该数字的一部分,如果是0,表示这是最后一个字节,且剩余7位都用来表示数字。

举例下Varint编码和解码过程:
客户端发送300给服务端,通过Protobuf编码过程:
首先300的源数据是:

00000000 00000000 00000001 00101100

前面两个字节没有意义,Varint会丢掉前面两字节,这里标记为字节0变成:

 00000001 00101100

然后从字节0的尾部开始,取7位,变成新字节1,并在最高位补1,最高位补1还是0,取决于后面还有没有字节,字节1为:

10101100

然后继续在字节0中取7位,标记为字节2,由于这次取完后面已经没有字节了,所以字节2高位为0:

00000010

最后,最终编码后的数据变成字节1+字节2:

10101100 00000010

以上就完成了Varint对300编码,接下来看下服务端接收到编码后的数据怎么解析:
首先,接收到的数据是:

10101100 00000010

首先分析下这段数据,有两个字节,每个字节的最高位只是标记的作用,1代表后面的字节是数字的一部分,0表示这个字节是最后一个字节了,所以去掉各自的最高位,变成:

0101100 0000010

然后Varint会将字节调转,变成:

0000010 0101100

对比300的源数据:

 0000010 0101100
 00000000 00000000 00000001 00101100

调转后的数据:256+32+8+4 = 300

4、实际例子

定义Protobuf:
message person
 { 
    int32   id = 1;  
    // wire type = 0,field_number =1 
    string  name = 2;  
    // wire type = 2,field_number =2 
  }

person.setId(1);
person.setName("testing");

上面的wire type的值,Protobuf内部已经定义好了:
image.png
首先分析字段 int32 id = 1:

由于是int32类型,所以数据是tag-value形式:

tag:

表达式:Tag = (field_number << 3) | wire_type
字段int32 id = 1的field_number为1,左移三位变成:

00001000

然后数据类型是int32,所以 wire_type为0,则最终得出的tag为:

00001000
value:

根据Varint编码,变成1字节:

00000001
最终

字段 int32 id = 1变成:

00001000 00000001    //即8 和 1
然后分析字段 string name = 2:

由于是string类型,所以是tag-length-value形式,value采用UTF编码

tag:

field_number为2,左移3位:

00010000

string类型wire type为2,最终tag为:

00010010
Value:

上面的例子是字符串testing,经过UTF8编码后,变成:

116,101,115,116,105,110,103
Length

value的长度,所以是7,即00000111

最终

数据为:

00010010  00000111  116,101,115,116,105,110,103

5、总结

序列化、反序列化简单、速度快的原因是:

编码 / 解码 方式简单(只需要简单的数学运算 = 位移等等)

数据压缩效果好(即序列化后的数据量体积小)的原因是:

采用了独特的编码方式,如Varint、Zigzag编码方式等等

兼容性高的原因:

采用T - L - V 的数据存储方式

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,378评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,356评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,702评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,259评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,263评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,036评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,349评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,979评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,469评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,938评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,059评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,703评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,257评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,262评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,501评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,792评论 2 345

推荐阅读更多精彩内容