目标：
了解protobuf是如何做协议兼容的。
问题：
在protobuf中，是怎么做到新旧协议传输的兼容的，比如：（问题一）在新的协议里面增加了一个字段，传输到另一方是如何解码的？（问题二）又比如在新的协议里面删除了一个字段，传输到另外一方是解码的？（以下为了方便说明，使用新协议的一方为服务端，旧协议一方为客户端)
问题一：在新的协议里增加了一个字段，使用旧协议的客户端是如何解码的？
测试方式：首先在服务端编写一个proto文件，拷贝一份proto文件到客户端。然后修改服务端的proto文件增加一个字段，重新生成代码，客户端还是使用原来的proto文件和代码。
步骤一：编写proto文件
带着这个问题，我们编写一个例子：
定义我们的proto文件PersonMsg.proto
syntax ="proto3";
package com.simple;
option java_package="com.simple";
option java_outer_classname="PersonMsg";
message Person{
string name=1;
int32 age=2;
}
步骤二：拷贝proto文件到客户端。
这时候客户端和服务端都有一份proto文件
步骤三：调用protoc命令生成java代码
因为我的服务端和客户端都是使用java语言，所以都生成为java代码。（这里代码就不在贴出）
步骤四：在服务端的proto文件中增加字段
在这里我们增加一个email的字段
syntax ="proto3";
package com.simple;
option java_package="com.simple";
option java_outer_classname="PersonMsg";
message Person{
string name=1;
int32 age=2;
string email=3;//增加的字段
}
然后我们还是调用protoc命令重新生成服务端的协议代码。
步骤五：编写测试代码，创建使用新协议的Person对象，并将对象序列化到文件中。
@Test
public void testSerilize() throws IOException {
Person.Builder builder = Person.newBuilder();
builder.setName("xiaoshan");
builder.setAge(20);
builder.setEmail("xxxxxxs@163.com");
Person person =builder.build();
byte[] byteArray = person.toByteArray();
FileOutputStream outstream = new FileOutputStream(new File("Person.txt"));
outstream.write(byteArray);
outstream.close();
}
步骤六：在客户端读取Person.txt文件，并反序列化成Person对象。
@Test
public void testDeserialize() throws Exception{
FileInputStream inputStream = new FileInputStream(new File("Person.txt"));
Person person = Person.parseFrom(inputStream);
inputStream.close();
assertEquals(person.getName(),"xiaoshan");
assertEquals(person.getAge(),20);
//旧proto文件里面没有新加的email字段，所以生成的java代码里面也没有
}
运行junit，测试是ok的。
接下来的问题是，protobuf是如何做到的？
我们猜想，知道类型和长度我们就可以知道如何跳过这些字段了。
下面我们介绍protobuf的做法：
private Person(
com.google.protobuf.CodedInputStream input,
com.google.protobuf.ExtensionRegistryLite extensionRegistry)
throws com.google.protobuf.InvalidProtocolBufferException {
this();
...........
try {
boolean done = false;
while (!done) {
int tag = input.readTag();
switch (tag) {
case 0:
done = true;
break;
default: {
if (!parseUnknownFieldProto3(
input, unknownFields, extensionRegistry, tag)) {//这里是处理未知字段的
done = true;
}
break;
}
case 10: {
java.lang.String s = input.readStringRequireUtf8();//序列化name字段
name_ = s;
break;
}
case 16: {
age_ = input.readInt32();//序列化age字段
break;
}
}
}
........
这里关键的是parseUnknownFieldProto3方法，传递了stream和一个unknownField的builder。
protected boolean parseUnknownFieldProto3(
CodedInputStream input,
UnknownFieldSet.Builder unknownFields,
ExtensionRegistryLite extensionRegistry,
int tag)
throws IOException {
if (input.shouldDiscardUnknownFieldsProto3()) {//这个地方是跳过这个字段，而不把值存放到unknownFieldSet中
return input.skipField(tag); //根据key中的类型和长度跳过字节
}
return unknownFields.mergeFieldFrom(tag, input);
}
我们继续看下input.skipField的内容
@Override
public boolean skipField(final int tag) throws IOException {
switch (WireFormat.getTagWireType(tag)) {
case WireFormat.WIRETYPE_VARINT:
skipRawVarint();
return true;
case WireFormat.WIRETYPE_FIXED64:
skipRawBytes(FIXED64_SIZE);
return true;
case WireFormat.WIRETYPE_LENGTH_DELIMITED: //我们的例子是增加string类型的email，所以走这个判断
skipRawBytes(readRawVarint32());
return true;
case WireFormat.WIRETYPE_START_GROUP:
skipMessage();
checkLastTagWas(
WireFormat.makeTag(WireFormat.getTagFieldNumber(tag), WireFormat.WIRETYPE_END_GROUP));
return true;
case WireFormat.WIRETYPE_END_GROUP:
return false;
case WireFormat.WIRETYPE_FIXED32:
skipRawBytes(FIXED32_SIZE);
return true;
default:
throw InvalidProtocolBufferException.invalidWireType();
}
}
如我们所料，根据key中的类型做相应的处理。如我们例子中新增加的email是string类型，所以走的是 WireFormat.WIRETYPE_LENGTH_DELIMITED判断，string类型的序列化格式是:key+length+value,
所以要调用readRawVarint32读取string的长度，后面再调用 skipRawBytes跳过即可。
注意:
在proto2中，序列化到未知的字段都会同意的存放到unknowField中，但是proto3不会保证这一点，如上例中未知的字段被放弃了，查看源码可知在proto3中CodedInputStream中增加了explictDiscardUnknownFields字段控制是放弃还是存放到unknowField中。所以在proto3中不要太依靠unknownField做操作。
剩下的问题二就留给读者自己思考吧！（答案是删除的字段不会被序列化，所以那边也读不到，具体查看PersonMsg中的gerSerializedSize方法）
网友评论