前一阵子和小卓腾折腾hbase数据拉取慢的问题（分别用phoenix-sparks jar包和python-phoenixdb两种途径，殊途同归地慢）。
phoenix-sparks jar包的问题算比较快地位到问题，小卓腾改了个jar包解决了（用得开源抵得填坑，sql语句转译问题，时间过滤条件转译失败，结果变成拉全量数据回来 在dataframe过滤）。
python-phoenixdb的问题其实也算是比较快定位到了（就是纯python的protobuf编解码性能问题，用c++扩展就好，详见https://github.com/lalinsky/python-phoenixdb/issues/4），就是脑子一抽以为要重新编译.proto生成新的协议文件，比较麻烦，就折腾别的需求去了。拖了两周，最终的起心肝赶在2018之前把这个解决了。其实搞下来，也就是重装个protobuf用c++扩展的事，脑抽真可怕。
搞下来性能提升相当可观，
用c++拓展之前，程序处理流量200~300kB/s
使用c++拓展之后，程序处理流量1000~2000kB/s
脚本语言(nodejs/python/lua/php)能给加个扩展(c/c++)，可以说很感恩了~~
网友评论