美文网首页程序员Android知识
还在用json?让ProtocolBuffer为你的数据瘦瘦身

还在用json?让ProtocolBuffer为你的数据瘦瘦身

作者: thiagooo0 | 来源:发表于2017-11-02 10:17 被阅读120次

    前言

    protobuf是什么的?

    Protocol Buffer是一种用于序列化数据的协议。可以用来通信传输,数据传输等。可以用来取代json,xml等。

    为什么要用protobuf?

    解析速度快,生成的消息体积小,语法简洁明了,支持多种语言( C++、C#、Go、Java、Python、JavaScript等等)

    正如下图,protobuf会把数据的体积压缩到尽可能的小。


    图片来源:https://martin.kleppmann.com/2012/12/05/schema-evolution-in-avro-protocol-buffers-thrift.html图片来源:https://martin.kleppmann.com/2012/12/05/schema-evolution-in-avro-protocol-buffers-thrift.html
    官方的api

    protobuf由谷歌开发,谷歌内部都在使用,所以放心地使用吧。 这是github上的地址 https://github.com/google/protobuf

    前期准备

    1,安装maven库

    官网下载对应的maven。
    下载后是一个压缩包,解压。然后对应的bin目录(比如 C:\Program Files\apache-maven-3.3.9\bin)配置到环境变量PATH中就好了。

    配置好环境变量之后,到命令行中,输入

    mvn -v

    会看到类似这样的输出,就证明你的maven已经配置成功了。

    Apache Maven 3.3.3 (7994120775791599e205a5524ec3e0dfe41d4a06; 2015-04-22T04:57:37-07:00)
    Maven home: /opt/apache-maven-3.3.3
    Java version: 1.8.0_45, vendor: Oracle Corporation
    Java home: /Library/Java/JavaVirtualMachines/jdk1.8.0_45.jdk/Contents/Home/jre
    Default locale: en_US, platform encoding: UTF-8
    OS name: "mac os x", version: "10.8.5", arch: "x86_64", family: "mac"
    

    2, 配置protoc的环境变量

    1. 从这个地址下载protoc-3.2.0-win32.zip文件。
    2. 解压。
    3. 把里面的protoc.exe配置到环境变量中去。

    3,生成jar包

    1. 我们需要生成jar包,放到Android项目的lib中,项目才能使用protobuf。
      同样也是这个地址。这次需要下载protobuf-java-3.2.0.zip。如果你使用的是其他语言,就下载不同语言对应的文件即可。

    注意:步骤2和步骤3中用到的包的版本号要一致。

    1. 解压protobuf-java-3.2.0.zip。
    2. 把步骤2中得到的protoc.ext放到protobuf-java-3.2.0/src中
    3. 用命令行,cd到protobuf-java-3.2.0/java目录下
    4. 输入指令

    mvn test

    1. 继续输入指令

    mvn package

    运行成功后,jar包就会出现在protobuf-java-3.2.0/java/core/target目录下了。

    编写proto文件

    这是一个简单的proto文件。

    syntax = "proto3";
    
    message SearchRequest {
      string query = 1;
      int32 page_number = 2;
      int32 result_per_page = 3;
    }
    
    • 语法是不是很简单
    • syntax = "proto3";表示语言的版本为proto3,如果不定义,系统就默认为proto2
    • SearchRequest定义了一个信息。里面存放着三个变量。一个string类型,两个int类型。
    • 可以看到,三个变量后面分别跟着1,2,3。这不是变量的值,这是一个tag,标志这个标量在二进制格式里的位置。因为1-15只需要一个byte,而16到2047需要两个byte,所以我们需要把常用的变量放到1-15中去。而tag的值可以从1定义到536,870,911,除了19000到19999。
    • 具体的所有数据类型,可以到官网看。

    加上稍微复杂一点的proto文件

    syntax = "proto3";
    
    message SearchRequest {
    //这是一个枚举
    enum Type{
      FAST_SEARCH = 0;
      SLOW_SEARCH = 1;
      NOTHING = 3;
    }
      string query = 1;
      int32 page_number = 2;
      int32 result_per_page = 3;
      Type type = 4;//上面定义的枚举,这里就可以用了
      bytes data = 5;//这是一个bytes类型的数据。可以用来存放另外一个message。
    }
    

    编译

    把protoc编译成java文件

    官方的语法是这样的。

    protoc -I=$SRC_DIR --java_out=$DST_DIR $SRC_DIR/addressbook.proto

    我自己的做法比较简单一点。
    cd到proto文件的目录,然后输入

    protoc --java_out=ProtoBuffer prototest.proto
    
    • ProtoBufferjava文件生成的文件夹。
    • prototest.proto是proto文件。
    • 如果是生成其他类型的文件,只需要把java_out替换成对应的cpp_out,csharp_out等即可。指令可以通过输入protoc -help浏览。

    在java中使用

    首先,需要把上面得到的jar包放到lib里面。把得到的java文件放到项目中。

    通过以下方式生成一个对象,是的,如果你没有写入任何变量。那所有变量的值都是默认值。

    Prototest2.SearchRequest searchRequest = Prototest2
                    .SearchRequest.newBuilder().build();
    

    然而你只能在生成的时候赋值。。

    Prototest2.SearchRequest searchRequest = Prototest2
                    .SearchRequest.newBuilder()
                    .setQuery("hhh")
                    .setPageNumber(2)
                    .setData(book.toByteString())//book是另外一个proto对象
                    .setType(Prototest2.SearchRequest.Type.SLOW_SEARCH)//设置枚举类型
                    .build();
    

    上面可以看到,我们可以通过toByteString()把proto对象转成byteString类型的数据。而对应的,可以把byteString数据通过parseFrom转化为proto对象。

    Prototest3.Book book1 = Prototest3.Book.parseFrom(searchRequest.getData());
    
    写到流中

    通过writeTo方法,把消息写入输出流中

    writeTo(OutputStream output)

    这个方法只是writeTo(CodedOutputStream)方法的包装方法。同样地,这个方法不会flush或者close流。

    注意:brotobuf不会自限制(?),所以如果你在这个消息之后又在同一个流里面wirte了其他的信息,那你必须做一些操作去确定哪一部分是brotobuf。例如,你可以在这个消息之前发送数据的大小,然后确认这个消息到什么地方为止。或者,直接使用writeDelimitedTo(OutputStream)

    writeDelimitedTo(OutputStream)
    和writeTo(OutputStream output)一样,不过会用varint的方法在数据之前写一下数据的大小。这就允许在同一个流里面写更多数据了。Use MessageLite.Builder.mergeDelimitedFrom(InputStream) (or the static method YourMessageType.parseDelimitedFrom(InputStream)) to parse messages written by this method.

    从流中读取
    Prototest2.SearchRequest.parseDelimitedFrom(inputStream);  
    

    相关文章

      网友评论

        本文标题:还在用json?让ProtocolBuffer为你的数据瘦瘦身

        本文链接:https://www.haomeiwen.com/subject/jyhopxtx.html