美文网首页我爱编程
python c++扩展大法好

python c++扩展大法好

作者: RaferYY | 来源:发表于2017-12-30 18:37 被阅读0次

    前一阵子和小卓腾折腾hbase数据拉取慢的问题(分别用phoenix-sparks jar包和python-phoenixdb两种途径,殊途同归地慢)。
    phoenix-sparks jar包的问题算比较快地位到问题,小卓腾改了个jar包解决了(用得开源抵得填坑,sql语句转译问题,时间过滤条件转译失败,结果变成拉全量数据回来 在dataframe过滤)。
    python-phoenixdb的问题其实也算是比较快定位到了(就是纯python的protobuf编解码性能问题,用c++扩展就好,详见https://github.com/lalinsky/python-phoenixdb/issues/4),就是脑子一抽以为要重新编译.proto生成新的协议文件,比较麻烦,就折腾别的需求去了。拖了两周,最终的起心肝赶在2018之前把这个解决了。其实搞下来,也就是重装个protobuf用c++扩展的事,脑抽真可怕。
    搞下来性能提升相当可观,
    用c++拓展之前,程序处理流量200~300kB/s
    使用c++拓展之后,程序处理流量1000~2000kB/s
    脚本语言(nodejs/python/lua/php)能给加个扩展(c/c++),可以说很感恩了~~

    相关文章

      网友评论

        本文标题:python c++扩展大法好

        本文链接:https://www.haomeiwen.com/subject/hylngxtx.html