美文网首页程序员半栈工程师Android开发
Protocol Buffers 的技术优势详述

Protocol Buffers 的技术优势详述

作者: 量子Magic | 来源:发表于2017-09-11 17:24 被阅读0次

    前言

    APP由于其移动特性,网络通讯要求数据结构更小、更快、更安全,主流的数据协议逐渐从文本协议迁移到序列化协议:

    A(XML/JSON)=>B(Protocol Buffers/Hessian/...)
    

    Protocol Buffers(以下简称PB)是google公司开放的,编程语言无关,平台无关,可扩展的序列化数据协议。你只需要用简单的脚本语言,定义好数据结构,就可以生成所支持的编程语言的代码,而PB几乎支持所有的主流编程语言,包括Java、python、Objective-C,C++,Go, JavaNano, Ruby, and C#等。这些特性使得PB逐渐称为序列化数据协议的首选。

    这时候,你肯定心里在想,吹的很牛,牛在哪里实际上都没说清楚!别急,下面会一一道来。

    看两个使用例子:

    Person john = Person.newBuilder()
        .setId(1234)
        .setName("John Doe")
        .setEmail("jdoe@example.com")
        .build();
    output = new FileOutputStream(args[0]);
    john.writeTo(output);
    
    Person john;
    fstream input(argv[1],
        ios::in | ios::binary);
    john.ParseFromIstream(&input);
    id = john.id();
    name = john.name();
    email = john.email();
    

    可以看出来,PB是通过二进制流的方式来编码解码的,它的优势也是在于它的编码技术,所以下面重点讲述proto3的序列化编码和关键技术点。

    序列化编码

    序列化编码描述如何把PB消息转成二进制流,虽然在使用过程中不需要了解这个,但是了解它能让你清楚地知道不同的消息类型,编码后的字节数。

    消息结构

    每一个消息都是用 key-value的结构形式来存储,其中key是正整型(varint编码),表达为(field_number << 3) | wire_type,wire_type指定了每个数据类型的编码方式,field_number是PB文件中消息序号,这种结构决定了PB数据包会小于XML/JSON格式。

    以下是wire_type结构表:

    Type Meaning Used For
    0 Varint/ZipZag int32, int64, uint32, uint64, sint32, sint64, bool, enum
    1 64-bit fixed64, sfixed64, double
    2 Length-delimited string, bytes, embedded messages, packed repeated fields
    3 Start group groups (deprecated)
    4 End group groups (deprecated)
    5 32-bit fixed32, sfixed32, float

    Base 128 Varints

    Base 128 varints是一种使用可变子节序列化整型数值的技术,更小的数值使用更少的字节数。

    Varints机制下,一个整型,除了最后一个字节,其他子节都有最高有效位(MSB),用来指定后面的字节是否属于该整型,也就是说只要MSB=1,那么后面的一个子节就是属于该整型的。同时,要注意,varints的整型使用的是小端编码。

    例如:1用一个子节就可以表示,所以MSB位不用设置,所以编码为

    0000 0001
    

    但是300,就编码为

    1010 1100 0000 0010
    

    为什么呢?我们按照Varints机制解码,得到最终结果

    1010 1100 0000 0010
    → 010 1100  000 0010 #去掉MSB
    →  000 0010 ++ 010 1100 # 小端还原
    →  100101100 #拼接
    →  256 + 32 + 8 + 4 = 300 #计算
    

    然而,负数的最高位为1,根据上面的机制,该怎么表示?
    Varints简单暴力地把所有的负数,无论是int32还是int64,都有10个字节来表示,这显然是很挫的表示,所以varints只适合用来表示正整型,那么负整型怎么办?

    ZigZag

    PB引入了ZigZag编码来解决负整型编码问题,ZigZag会把所有的负数映射成正数,再使用varint编码,达到压缩目的。使用ZipZag编码需要声明类型为sint32或sint64。

    编码示例如下:

    Signed Original Encoded As
    0 0
    -1 1
    1 2
    -2 3
    2147483647 4294967294
    -2147483648 4294967295

    编码公式如下,对于 sint32

    (n << 1) ^ (n >> 31)
    

    对于sint64

    (n << 1) ^ (n >> 63)
    

    >>表示为算术右移,即如果是正数,左边全部补0,如果是负数,左边全部补1。

    Length-delimited

    Length-delimited即加个数据头,指定数据的长度,整体格式如下:

    key length value
    

    例如,字符串 "testing",UTF8编码为

    12 07 74 65 73 74 69 6e 67
    

    0x12表示tag=2,type=2,0x07表示后面的数据长度为7个子节。

    相关文章

      网友评论

        本文标题:Protocol Buffers 的技术优势详述

        本文链接:https://www.haomeiwen.com/subject/dhpfsxtx.html