protobuf是一种跨语言协议，不同语言之间只需定义同一份proto文件，即可实现不同种类的语言的协议沟通。由于工作中使用c++解码较为麻烦，为了提升工作效率，想通过python达到快速解析pb数据的目的（系统为macOS Sierra）。
image.png
出自文章 https://segmentfault.com/a/1190000010098194
python版本的protobuf安装
首先安装官方protobuf，通过执行protoc命令，可以将proto源文件编译成对应语言的数据结构文件和解析代码，如python对应的文件后缀名通常为.py和.pyc；官方下载链接：https://github.com/google/protobuf/releases，下载全量源码，然后解压、安装，然后确认安装是否成功。此外可以通过 brew install protobuf 直接安装。
cd 对应目录
./configure
make
make check
make install
protoc --version
其次，安装对应的python protobuf模块，python引入该模块即可编写代码，实现pb文件的解析。安装python protobuf模块，首先安装pip，mac系统的python自带easy_install，因此直接输入命令：sudo easy_install pip；再通过pip来安装protobuf，命令：pip install protobuf；
遇到的问题：mac下python的six模块版本较低，且由于系统原因，无法被卸载安装新版，而pip在安装protobuf时需要，默认会下载安装较新版本的six模块，因此这里出现了冲突。通过参考该链接：https://github.com/pypa/pip/issues/3165，只需在使用pip安装python模块前，执行该命令即可：
pip install --ignore-installed six
使用python解析pb数据流程
这里使用c++对数据进行编码，并生成pb二进制文件，再通过python对pb二进制文件解码，得到c++输入的数据。使用c++写的client程序和python写的server服务器程序通信，在cleint端对数据编码，在server端对数据解码，通信方式采用socket，通信数据格式采用protobuf。
遇到的问题：当c++客户端-c++服务器，数据能正常编码和解析，而c++客户端-python服务器时，服务端python的recv函数接收的数据是null，无法正常接收。
解决方案：怀疑是python接收二进制数据问题，具体原因后续探究。因此把c++编码的protobuf数据再进行base64编码，将二进制proto数据变为字符串，当python服务端收到数据后，先进行base64解码，再对protobuf数据解码。
people.proto源文件：
package demo;
message People {
required string name = 1;
required int32 id = 2;
required string email = 3;
}
切换到对应的proto源文件目录，执行命令，将产出两个文件people.pb.cc 和people.pb.h
protoc -I . --c++_out=. people.proto
切换到对应的proto源文件目录，执行以下命令，将产出文件people_pb2.pyc
protoc -I . --python_out=. people.proto
c++客户端代码：
#include <stdio.h>
#include <stdlib.h>
#include <strings.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <string>
#include <iostream>
#include "people.pb.h"//引入c++对应的proto文件
#include "base64.h"
#define MYPORT 8080
#define BUFFER_SIZE 1024
int main()
{
///定义sockfd
int sock_cli = socket(AF_INET,SOCK_STREAM, 0);
///定义sockaddr_in
struct sockaddr_in servaddr;
memset(&servaddr, 0, sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_port = htons(MYPORT); ///服务器端口
servaddr.sin_addr.s_addr = inet_addr("127.0.0.1"); ///服务器ip
///连接服务器，成功返回0，错误返回-1
if (connect(sock_cli, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0)
{
perror("connect");
exit(1);
}
char recvbuf[BUFFER_SIZE];
char sendbuf[BUFFER_SIZE];
int numbytes = (int)recv(sock_cli, recvbuf, BUFFER_SIZE, 0);
recvbuf[numbytes] = '\0';
std::string strbuf = recvbuf;
std::cout << "Client Message: " << strbuf << std::endl;
if(strbuf == "GET PEOPLE")
{
std::string data;
demo::People p;
p.set_name("xionghengheng");
p.set_id(1881409);
p.set_email("xionghengheng@gmail.com");
p.SerializeToString(&data);//protobuf数据编码
char bts[data.length()];
strcpy(bts, data.c_str());
Base64 *base64 = new Base64();
std::string encode = base64->Encode((unsigned char*)bts, data.length());//base64编码
memset(sendbuf, 0, sizeof(sendbuf));
strcpy(sendbuf, encode.c_str());
send(sock_cli, sendbuf, strlen(sendbuf), 0);
}
else
{
send(sock_cli, "Fucking client!\n", 16, 0);
}
memset(recvbuf, 0, sizeof(recvbuf));
close(sock_cli);
return 0;
}
python2.7服务端程序：
# -*- coding: UTF-8 -*-
import os
import socket
import time
import threading
import people_pb2 as people#引入python proto对应的文件
import base64
def tcplink(sock, addr):
print('Accept new connection from %s:%s...' % addr)
sock.send('GET PEOPLE'.encode())
while True:
data = sock.recv(2048)
time.sleep(1)
if data == 'exit' or not data:
print("no data")
break
else:
data = base64.b64decode(data)#base64解码
peopleItem = people.People()
peopleItem.ParseFromString(data)#protobuf数据解码
print(peopleItem.name)
print(peopleItem.id)
print(peopleItem.email)
sock.close()
print('Connection from %s:%s closed.' % addr)
# 开启ip和端口
ip_port = ('127.0.0.1', 8080)
# 生成句柄
web = socket.socket()
# 绑定端口
web.bind(ip_port)
# 最多连接数
web.listen(5)
# 等待信息
print ('nginx waiting...')
# 开启死循环
while True:
# 接受一个新连接:
sock,addr = web.accept()
# 创建新线程来处理TCP连接:
t = threading.Thread(target=tcplink, args=(sock, addr))
t.start()
服务端输出结果：
nginx waiting...
Accept new connection from 127.0.0.1:50828...
xionghengheng
1881409
xionghengheng@gmail.com
no data
Connection from 127.0.0.1:50828 closed.
网友评论