golang 使用 protobuf

1 Protobuf简介

Google Protocol Buffer( 简称 Protobuf)是Google公司内部的混合语言数据标准，他们主要用于RPC系统和持续数据存储系统。

2 Protobuf 应用场景

Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或RPC数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

简单来说，Protobuf的功能类似于XML，即负责把某种数据结构的信息，以某种格式保存起来。主要用于数据存储、传输协议等使用场景。

3 Protobuf 优缺点

优点

  • 性能好/效率高

    • 时间维度：XML,JSON格式对数据进行序列化和反序列化时性能差。
    • 空间维度：XML,JSON格式为了可读性，必然在进行存储数据时，也会消耗空间。

    整体而言，Protobuf以高效的二进制方式存储，比XML小3到10倍，快20到100倍。

  • 代码生成机制

    • 代码生成机制能够极大解放开发者编写数据协议解析过程的时间，提高工作效率；于开发者维护和迭代。

  • 支持“向后兼容”和“向前兼容”

  • 支持多种编程语言

    • Protobuf不仅仅Google开源的一个数据协议，还有很多种语言的开源项目实现。

缺点

  • 可读性较差

    为了提高性能，Protobuf采用了二进制格式进行编码。二进制格式编码对于开发者来说，是没办法阅读的。在进行程序调试时，比较困难。对于可读性要求高的数据报文程序就不建议使用。

  • 缺乏自描述

    Protobuf是通过二进制格式进行数据传输，开发者面对二进制格式的Protobuf，没有办法知道所对应的真实的数据结构，因此在使用Protobuf协议传输时，必须配备对应的proto配置文件。

Protobuf3 语法指南:
https://colobu.com/2017/03/16/Protobuf3-language-guide

4 Go语言中的编程实现

4.1 安装protobuf编译器

使用release版本下载地址:

https://github.com/protocolbuffers/protobuf/releases

方式一:

下载对应平台的二进制文件,配置环境变量即可

image.png

方式二

由于我本机下载二进制文件太慢,这里使用编译安装

Ubuntu 安装(如果是centos直接将apt-get改为yum,如果是alpine将apt-get install 改为apk add)

#下载
sudo apt-get install autoconf automake libtool curl make g++ unzip
git clone https://github.com/protocolbuffers/protobuf.git
cd protobuf
git submodule update --init --recursive
./autogen.sh

#编译
 ./configure
make
make check

#安装
sudo make install
sudo ldconfig

# 检查
protoc -h

4.2 安装go插件 protoc-gen-go

  • proto:实现了对编码，解码等运行时支持。这个在程序中会用到.
  • protoc-gen-go: 编译器插件:生成Go源文件。
# 下载
go get  -u -v github.com/golang/protobuf/protoc-gen-go
# 安装
cd $GOPATH/src/github.com/golang/protobuf/protoc-gen-go/
 go install

此时会在$GOPATH/bin/生成二进制文件

ls  $GOPATH/bin/protoc-gen-go
/home/jinchunguang/go/bin/protoc-gen-go

5 使用Protobuf的步骤

5.1 编写proto文件


# 创建项目目录
mkdir -pv protobuf-app/pb
cd protobuf-app

#  使用go mod
go mod init protobuf-app

# 编写协议文件
touch pb/person.proto
vim pb/person.proto

person.proto文件内容

syntax = "proto3";
package pb;

message Person {
    string Name = 1;
    int32 Age = 2;
    string From = 3;
}

5.2 生成协议文件

protoc --proto_path=./pb --go_out=./pb ./pb/person.proto

此时就会发现多了一个person.pb.go,这个就是生成的的协议文件

tree
.
├── go.mod
└── pb
    ├── person.pb.go
    └── person.proto

1 directory, 3 files

5.3 测试

下载编码解码库,也可以不下载,运行时go mod会自动解决依赖.

go get -u -v github.com/golang/protobuf/proto

main.go

package main

import (
    "fmt"
    // 编解码库
    "github.com/golang/protobuf/proto"
    "protobuf-app/pb"
)

func main() {

    p := &pb.Person{
        Name: "Jack",
        Age:  10,
        From: "China",
    }
    fmt.Println("原始数据:",p)

    // 序列化
    dataMarshal, err := proto.Marshal(p)
    if err != nil {
        fmt.Println("proto.Unmarshal.Err: ", err)
        return
    }
    fmt.Println("编码数据:",dataMarshal)
    // 反序列化
    entity := pb.Person{}
    err = proto.Unmarshal(dataMarshal, &entity)
    if err != nil {
        fmt.Println("proto.Unmarshal.Err: ", err)
        return
    }


    fmt.Printf("解码数据: 姓名：%s 年龄：%d 国籍：%s ", entity.GetName(),entity.GetAge(),entity.GetFrom())

}

执行程序


image.png

6 使用protobuf实现简单的Tcp通讯

6.1 新建proto文件 message.proto

文件内容

syntax = "proto3";
package pb;

message Message{
    string message = 1;
    int32 length = 2;
}

生成协议文件

protoc --proto_path=./pb --go_out=./pb ./pb/message.proto

6.2 新建立srv目录,添加 client,server 目录并且新建对应的go程序

image.png

client.go


package main

import (
    "fmt"
    "github.com/golang/protobuf/proto"
    "protobuf-app/pb"
    "net"
)

func main() {

    var err error
    var msg string

    // 收集消息
    fmt.Println("请输入短消息:")
    if _, err := fmt.Scanf("%s", &msg); err != nil {
        fmt.Printf("%s\n", err)
        return
    }

    // 编码数据
    user := &pb.Message{
        Message: msg,
        Length:  *proto.Int(len(msg)),
    }
    pbData, err := proto.Marshal(user)
    if err != nil {
        fmt.Println("proto marshal err ", err)
        return
    }

    // 连接server
    address := "localhost:6600"
    conn, err := net.Dial("tcp", address);
    defer conn.Close()
    if err != nil {
        fmt.Println("net dial err ", err)
        return
    }

    // 发送数据
    n, err := conn.Write(pbData)
    if err != nil {
        fmt.Println("net write err ", err)
        return
    }
    fmt.Println("conn write len:", n)

}

server.go

package main

import (
    "fmt"
    "github.com/golang/protobuf/proto"
    "protobuf-app/pb"
    "io"
    "net"
)

func main() {

    address := "localhost:6600"
    listener, err := net.Listen("tcp", address)
    if err != nil {
        fmt.Errorf("listen err:", err)
    }
    fmt.Println("[START] Server listenner: ", address)
    for {
        conn, err := listener.Accept()
        if err != nil {
            fmt.Println("conn err:", err)
            return
        }
        // 异步执行请求业务
        go processing(conn)
    }
}

func processing(conn net.Conn) {


    // 延迟关闭
    defer conn.Close()
    // 缓冲
    buf := make([]byte, 4096)
    for {
        len, err := conn.Read(buf)
        // 读取结束
        if err == io.EOF {
            return
        }

        if err != nil {
            fmt.Println("conn read err:", err)
            return
        }
        user := &pb.Message{}
        err = proto.Unmarshal(buf[:len], user)
        if err != nil {
            fmt.Println("proto unmarshal err:", err)
            return
        }

        fmt.Println("receive data:%v  ip:%v ", user.Message, conn.RemoteAddr())

    }
}

6.3 测试

启动服务:

go run server.go
客户端
服务端
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,723评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,485评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,998评论 0赞 344
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,323评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,355评论 5赞 374
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,079评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,389评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,019评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,519评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2赞 325
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,738评论 4赞 324
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,293评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2赞 354
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2赞 345