前言
protobuf是什么的?
Protocol Buffer是一种用于序列化数据的协议。可以用来通信传输,数据传输等。可以用来取代json,xml等。
为什么要用protobuf?
解析速度快,生成的消息体积小,语法简洁明了,支持多种语言( C++、C#、Go、Java、Python、JavaScript等等)
正如下图,protobuf会把数据的体积压缩到尽可能的小。
图片来源:https://martin.kleppmann.com/2012/12/05/schema-evolution-in-avro-protocol-buffers-thrift.html
官方的api
protobuf由谷歌开发,谷歌内部都在使用,所以放心地使用吧。 这是github上的地址 https://github.com/google/protobuf
前期准备
1,安装maven库
到官网下载对应的maven。
下载后是一个压缩包,解压。然后对应的bin目录(比如 C:\Program Files\apache-maven-3.3.9\bin)配置到环境变量PATH中就好了。
配置好环境变量之后,到命令行中,输入
mvn -v
会看到类似这样的输出,就证明你的maven已经配置成功了。
Apache Maven 3.3.3 (7994120775791599e205a5524ec3e0dfe41d4a06; 2015-04-22T04:57:37-07:00)
Maven home: /opt/apache-maven-3.3.3
Java version: 1.8.0_45, vendor: Oracle Corporation
Java home: /Library/Java/JavaVirtualMachines/jdk1.8.0_45.jdk/Contents/Home/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "mac os x", version: "10.8.5", arch: "x86_64", family: "mac"
2, 配置protoc的环境变量
- 从这个地址下载protoc-3.2.0-win32.zip文件。
- 解压。
- 把里面的protoc.exe配置到环境变量中去。
3,生成jar包
- 我们需要生成jar包,放到Android项目的lib中,项目才能使用protobuf。
同样也是这个地址。这次需要下载protobuf-java-3.2.0.zip。如果你使用的是其他语言,就下载不同语言对应的文件即可。
注意:步骤2和步骤3中用到的包的版本号要一致。
- 解压protobuf-java-3.2.0.zip。
- 把步骤2中得到的protoc.ext放到protobuf-java-3.2.0/src中
- 用命令行,cd到protobuf-java-3.2.0/java目录下
- 输入指令
mvn test
- 继续输入指令
mvn package
运行成功后,jar包就会出现在protobuf-java-3.2.0/java/core/target目录下了。
编写proto文件
这是一个简单的proto文件。
syntax = "proto3";
message SearchRequest {
string query = 1;
int32 page_number = 2;
int32 result_per_page = 3;
}
- 语法是不是很简单
- syntax = "proto3";表示语言的版本为proto3,如果不定义,系统就默认为proto2
- SearchRequest定义了一个信息。里面存放着三个变量。一个string类型,两个int类型。
- 可以看到,三个变量后面分别跟着1,2,3。这不是变量的值,这是一个tag,标志这个标量在二进制格式里的位置。因为1-15只需要一个byte,而16到2047需要两个byte,所以我们需要把常用的变量放到1-15中去。而tag的值可以从1定义到536,870,911,除了19000到19999。
- 具体的所有数据类型,可以到官网看。
加上稍微复杂一点的proto文件
syntax = "proto3";
message SearchRequest {
//这是一个枚举
enum Type{
FAST_SEARCH = 0;
SLOW_SEARCH = 1;
NOTHING = 3;
}
string query = 1;
int32 page_number = 2;
int32 result_per_page = 3;
Type type = 4;//上面定义的枚举,这里就可以用了
bytes data = 5;//这是一个bytes类型的数据。可以用来存放另外一个message。
}
编译
把protoc编译成java文件
官方的语法是这样的。
protoc -I=$SRC_DIR --java_out=$DST_DIR $SRC_DIR/addressbook.proto
我自己的做法比较简单一点。
cd到proto文件的目录,然后输入
protoc --java_out=ProtoBuffer prototest.proto
- ProtoBufferjava文件生成的文件夹。
- prototest.proto是proto文件。
- 如果是生成其他类型的文件,只需要把java_out替换成对应的cpp_out,csharp_out等即可。指令可以通过输入protoc -help浏览。
在java中使用
首先,需要把上面得到的jar包放到lib里面。把得到的java文件放到项目中。
通过以下方式生成一个对象,是的,如果你没有写入任何变量。那所有变量的值都是默认值。
Prototest2.SearchRequest searchRequest = Prototest2
.SearchRequest.newBuilder().build();
然而你只能在生成的时候赋值。。
Prototest2.SearchRequest searchRequest = Prototest2
.SearchRequest.newBuilder()
.setQuery("hhh")
.setPageNumber(2)
.setData(book.toByteString())//book是另外一个proto对象
.setType(Prototest2.SearchRequest.Type.SLOW_SEARCH)//设置枚举类型
.build();
上面可以看到,我们可以通过toByteString()把proto对象转成byteString类型的数据。而对应的,可以把byteString数据通过parseFrom转化为proto对象。
Prototest3.Book book1 = Prototest3.Book.parseFrom(searchRequest.getData());
写到流中
通过writeTo方法,把消息写入输出流中
writeTo(OutputStream output)
这个方法只是writeTo(CodedOutputStream)方法的包装方法。同样地,这个方法不会flush或者close流。
注意:brotobuf不会自限制(?),所以如果你在这个消息之后又在同一个流里面wirte了其他的信息,那你必须做一些操作去确定哪一部分是brotobuf。例如,你可以在这个消息之前发送数据的大小,然后确认这个消息到什么地方为止。或者,直接使用writeDelimitedTo(OutputStream)。
writeDelimitedTo(OutputStream)
和writeTo(OutputStream output)一样,不过会用varint的方法在数据之前写一下数据的大小。这就允许在同一个流里面写更多数据了。Use MessageLite.Builder.mergeDelimitedFrom(InputStream) (or the static method YourMessageType.parseDelimitedFrom(InputStream)) to parse messages written by this method.
从流中读取
Prototest2.SearchRequest.parseDelimitedFrom(inputStream);
网友评论