Google Protocol buffer 学习笔记.上篇-简

本次分上下两篇简单记录自己对protobuf协议的学习笔记, 上篇简单介绍protobuf, 记录了ubuntu系统中的安装过程, 并举了一个简单示例; 下篇将介绍protobuf的两个重要机制, 动态编译与类型反射.
能力有限, 如有疏漏望请指正.

---

引子

• Google Protocol Buffer协议简称Protobuf, 是谷歌内部的混合语言数据标准

• 是一种高效轻便的结构化数据存储格式, 可用于将结构化数据串行化(序列化)

• 适合用于数据存储或RPC数据交换格式(不同平台, 不同机器之间的信息传递), 可用于通讯协议, 数据存储等领域的语言无关, 平台无关, 可扩展的序列化结构数据格式

• 提供多种语言支持, C++, Java, Python, C# ...(protobuf2的话只支持前三种)

• 缺陷 可读性差, 因为是以二进制形式存放的, 如果不配合对应的proto文件, 那么是无法看懂的. 这一点与XML截然相反(XML具有自描述性, 就是人能看懂的意思)

• protobuf是一种序列化协议
• 高效轻便
• 支持多语言

---

一 简介(随意跳过)

• 本小节本着不求甚解的原则简单讲一下使得protobuf更高效轻便的技术

• 其中1,1, 1.2, 1.3解释了为什么protobuf序列化数据非常简洁、紧凑，与XML相比，其序列化之后的数据量约为1/3到1/10****

• 其中1.4, 解释了为什么****解析速度快，比XML快约20-100倍****

1.1 varint编码方式

• 用一个多个字节来表示一个数字, 值越小采用的字节数越少

• 每个字节最高位用作标记位, 如果该bit为1, 表示后续部分也是该数字的一部分; 如果该bit为0, 那么表示结束. (这一点是varint编码的基本原理)

• 采用小端字节序

image.png

1.2 Key-Pair存储方式

• 采用此种key-value格式无需使用分隔符来分隔不同的field

• 通过key来标识field, 通过对应的key获取到对应的value

image.png

1.3 ZigZag编码

• 使用无符号数来表示有符号数

  • 正负数交替出现的方式

• 优点 绝对值较小的数, 无论正负, 所需要用的比特位都会较少, 充分利用了varint编码的优点

image.png

1.4 解封包机制

• XML的解封包机制, XML需要从文件中读取字符串, 然后转换为XML文档对象结构模型, 再从该模型中读取制定节点的字符串, 最后再将该字符串转换为制定类型的变量.

  • 总之很复杂啦

• Protobuf的解封包机制, 经由protobuf序列化得到的结构是以二进制的形式保存在文件中, 只需将对应的二进制读取进入C++结构类型中即可, 就是一个移位操作

  • 显然更加高效, 当然也造成了毫无自描述性的问题...

---

二 安装

• 系统 ubuntu-16.04.4

• protobuf 此处安装的protobuf3.6.0, github上随便一搜就有啦

1. 解压, 切换至下载目录 tar -xvf protobuf-all-3.6.0.tar.gz protobuf-3.6.0/ 根据不同格式选择不同的解压命令啦

2. 切换至目标目录下cd protobuf-3.6.0/

3. 观察一下有没有包含configure文件, 如果不存在那么先执行./autogen.shshell脚本生成该文件

4. ./configure此处可以通过后缀--prefix=$INSTALL_DIR来指定想要安装的目标目录(将$INSTALL_DIR替换成自己想要的目录就好啦), 如果不指定一般是安装在默认的/usr/local/lib中

5. make编译一下, 等个十来分钟吧

6. make check

7. make install安装

8. protoc --version检查一下是否安装成功, 成功会显示版本号, 多半会失败啦, 那就看下一步

9. 如果提示protoc: error while loading shared libraries: libprotoc.so.9: cannot open shared object file: No such file or directory, 那么是因为protobuf的安装路径(默认的/usr/local/lib)不在ubuntu体系中默认的LD_LIBRARY_PATH中, 所以无法找到对应的lib. 解决 只需要在/etc/ld.so.conf.d/目录下创建文件bprotobuf.conf文件, 并写入我们的安装路径(/usr/local/lib), 然后执行sudo ldconfig即可.

   • 其中ldconfig是一个动态链接库管理命令，为了让动态链接库为系统所共享
     • 往/lib和/usr/lib中添加动态库, 那么只需要执行ldconfig即可
     • 除了此二目录以外的位置增加动态库时, 需要额外修改/etc/ld.so.conf或者在/etc/ld.so.conf.d目录下创建包含对应目录的.conf文件, 而后执行ldconfig

10. 至此protobuf就算是安装完成啦, 使用protoc --version再检查一下试试

如果上述安装步骤中遇到权限问题, 那么可以使用sudo命令, 或者切成root(慎用root 哈哈哈)

---

三 简单示例

编写简单的proto文件

// test.proto

syntax = "proto3";

package lm;

message helloworld

{

    int32 id = 1;

    string name = 2;

    repeated string hero = 3;                                                                     

}

protoc编译

protoc -I=./ --cpp_out=./ ./test.proto

• 其中 -I后接import的根目录, --cpp_out生成文件的目录, 最后一个参数表示待编译的文件

• 编译后将会生成一个.pb.cc文件和一个.pb.h文件

使用示例

#include <iostream>

#include <fstream>

#include "test.pb.h"

int main()

{

    lm::helloworld ob1, ob2;

    ob1.set_id(1);

    ob1.set_name("szw");

    ob1.add_hero("loong");

    ob1.add_hero("uk");

    printf("ob1\n");

    ob1.PrintDebugString();

    std::ofstream fout("test.txt");

    if (!ob1.SerializeToOstream(&fout)){

        perror("ob1 SerializeToOstream Wrong!\n");

        exit(-1);

    }

    fout.close();

    std::ifstream fin("test.txt");

    if(!ob2.ParseFromIstream(&fin)){

        perror("ob2 ParseFromIstream Wrong!\n");

        exit(-1);

    }

    fin.close();

    printf("ob2\n");

    ob2.PrintDebugString();

    return 0;

}

makefile

all:

 g++ -std=c++11 -c -o test.o test.cpp

 g++ -std=c++11 -c -o test.pb.o test.pb.cc

 g++ -std=c++11 -o test test.o test.pb.o -lprotobuf -lpthread

clean:

 rm -rf *.o

执行结果

ob1

id: 1

name: "szw"

hero: "loong"

hero: "uk"

ob2

id: 1

name: "szw"

hero: "loong"

hero: "uk"