前言
APP由于其移动特性,网络通讯要求数据结构更小、更快、更安全,主流的数据协议逐渐从文本协议迁移到序列化协议:
A(XML/JSON)=>B(Protocol Buffers/Hessian/...)
Protocol Buffers(以下简称PB)是google公司开放的,编程语言无关,平台无关,可扩展的序列化数据协议。你只需要用简单的脚本语言,定义好数据结构,就可以生成所支持的编程语言的代码,而PB几乎支持所有的主流编程语言,包括Java、python、Objective-C,C++,Go, JavaNano, Ruby, and C#等。这些特性使得PB逐渐称为序列化数据协议的首选。
这时候,你肯定心里在想,吹的很牛,牛在哪里实际上都没说清楚!别急,下面会一一道来。
看两个使用例子:
Person john = Person.newBuilder()
.setId(1234)
.setName("John Doe")
.setEmail("jdoe@example.com")
.build();
output = new FileOutputStream(args[0]);
john.writeTo(output);
Person john;
fstream input(argv[1],
ios::in | ios::binary);
john.ParseFromIstream(&input);
id = john.id();
name = john.name();
email = john.email();
可以看出来,PB是通过二进制流的方式来编码解码的,它的优势也是在于它的编码技术,所以下面重点讲述proto3的序列化编码和关键技术点。
序列化编码
序列化编码描述如何把PB消息转成二进制流,虽然在使用过程中不需要了解这个,但是了解它能让你清楚地知道不同的消息类型,编码后的字节数。
消息结构
每一个消息都是用 key-value的结构形式来存储,其中key是正整型(varint编码),表达为(field_number << 3) | wire_type,wire_type指定了每个数据类型的编码方式,field_number是PB文件中消息序号,这种结构决定了PB数据包会小于XML/JSON格式。
以下是wire_type结构表:
Type | Meaning | Used For |
---|---|---|
0 | Varint/ZipZag | int32, int64, uint32, uint64, sint32, sint64, bool, enum |
1 | 64-bit | fixed64, sfixed64, double |
2 | Length-delimited | string, bytes, embedded messages, packed repeated fields |
3 | Start group | groups (deprecated) |
4 | End group | groups (deprecated) |
5 | 32-bit | fixed32, sfixed32, float |
Base 128 Varints
Base 128 varints是一种使用可变子节序列化整型数值的技术,更小的数值使用更少的字节数。
Varints机制下,一个整型,除了最后一个字节,其他子节都有最高有效位(MSB),用来指定后面的字节是否属于该整型,也就是说只要MSB=1,那么后面的一个子节就是属于该整型的。同时,要注意,varints的整型使用的是小端编码。
例如:1用一个子节就可以表示,所以MSB位不用设置,所以编码为
0000 0001
但是300,就编码为
1010 1100 0000 0010
为什么呢?我们按照Varints机制解码,得到最终结果
1010 1100 0000 0010
→ 010 1100 000 0010 #去掉MSB
→ 000 0010 ++ 010 1100 # 小端还原
→ 100101100 #拼接
→ 256 + 32 + 8 + 4 = 300 #计算
然而,负数的最高位为1,根据上面的机制,该怎么表示?
Varints简单暴力地把所有的负数,无论是int32还是int64,都有10个字节来表示,这显然是很挫的表示,所以varints只适合用来表示正整型,那么负整型怎么办?
ZigZag
PB引入了ZigZag编码来解决负整型编码问题,ZigZag会把所有的负数映射成正数,再使用varint编码,达到压缩目的。使用ZipZag编码需要声明类型为sint32或sint64。
编码示例如下:
Signed Original | Encoded As |
---|---|
0 | 0 |
-1 | 1 |
1 | 2 |
-2 | 3 |
2147483647 | 4294967294 |
-2147483648 | 4294967295 |
编码公式如下,对于 sint32
(n << 1) ^ (n >> 31)
对于sint64
(n << 1) ^ (n >> 63)
>>表示为算术右移,即如果是正数,左边全部补0,如果是负数,左边全部补1。
Length-delimited
Length-delimited即加个数据头,指定数据的长度,整体格式如下:
key length value
例如,字符串 "testing",UTF8编码为
12 07 74 65 73 74 69 6e 67
0x12表示tag=2,type=2,0x07表示后面的数据长度为7个子节。
网友评论