高效数据传输之protobuf

protobuf的诞生

以前在不同系统或者不同项目之间传输数据主要使用XML格式。下面是xml格式的一些优缺点。

时间开销:XML格式化(序列化)的开销倒还好;但是XML解析(反序列化)的开销就不敢恭维啦。俺之前经常碰到一些时间性能很敏感的场合,由于不堪忍受XML解析的速度,弃之如敝履。

空间开销:虽然XML格式为了有较好的可读性,但是引入了一些冗余的文本信息。所以空间开销也不是太好。

由于Google公司赖以吹嘘的就是它的海量数据和海量处理能力。对于几十万、上百万机器的集群,动不动就是PB级的数据量,哪怕性能稍微提高0.1%也是相当可观滴。所以Google自然无法容忍XML在性能上的明显缺点。再加上Google从来就不缺造轮子的牛人,所以protobuf也就应运而生了。

什么是protobuf?

protobuf的开源项目地址

protobuf是一种轻便高效的结构化数据存储格式,全称是protocol buffers;可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

protobuf数据格式的定义

在data.proto文件中用proto3的语法封装自己的数据,如下:


代码格式和c语言风格差不多,syntax表示你要用的proto语法版本,默认是proto2,message是关键词,Person则是自定义的数据结构,里面是定义的一些属性。

关于proto2的语法,可参考:Protobuf 语法指南

proto3的语法格式,可参考:protobuf3语法

这样,我们就定义好了一个.proto文件。接下来运行go get -u github.com/golang/protobuf/protoc-gen-go命令将protoc工具安装在$PATH/bin中,安装好之后,在data.proto目录下打开终端,输入protoc --go_out=. *.proto  会在同目录下生成data.pb.go文件,这个文件中包含了如下的函数:

(1) func(m*Person)Reset()  //重置

(2)func(m*Person) String() string    //将Person转化为字符串

(3)func(*Person)ProtoMessage()    //空函数

(4)func(*Person)Descriptor()([]byte,[]int)    //返回该文件的描述符和一个[]int{0}的切片

其中(1)(2)(3)函数实现了Message接口,见lib.go


现在在main函数来将Person对象进行编码和解码,见代码

packagemain

import(

    "fmt"

    "log"

    data  "protobuf3_test/data"  //导入data.pb.go所在的文件目录

    "github.com/golang/protobuf/proto"

)

func  main(){

    person := &data.Person{

         "初级赛亚人",

         "男",

         117,

    }

    protoData,err := proto.Marshal(person)    //将person编码成protobuf格式的数据

    if err != nil {

        log.Fatal("marshalingerror:",err)

    }

    fmt.Println("protobuf编码之后的数据=",protoData)

    newPerson := &data.Person{}

    err = proto.Unmarshal(protoData,newPerson)    //将protobuf的解码存入newPerson中

    if err != nil {

           log.Fatal("unmarshalingerror:",err)

    }

    fmt.Println("protobuf解码之后的数据=",newPerson)

    fmt.Println("newPerson.Name=",newPerson.Name)

    fmt.Println("newPerson.Sex=",newPerson.Sex)

    fmt.Println("newPerson.Age=",newPerson.Age)

    if person.String() != newPerson.String() {

        log.Fatalf("datamismatch%q!=%q",person.String(),newPerson.String())

    }

}

控制台打印的结果是:


至此完成了protobuf的编码与解码

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,902评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,037评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,978评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,867评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,763评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,104评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,565评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,236评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,379评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,313评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,363评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,034评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,637评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,719评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,952评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,371评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,948评论 2 341

推荐阅读更多精彩内容