美文网首页程序员架构算法设计模式和编程理论
高性能异步RPC框架 kiss-rpc-flatbuffer介绍

高性能异步RPC框架 kiss-rpc-flatbuffer介绍

作者: jasonsalex | 来源:发表于2017-06-07 15:13 被阅读0次

    kiss-rpc特性:

    1. 轻量级,简单易用。支持idl和手动编写协议两种方式。模拟函数式调用方式,更加符合rpc远程调用方式。
    2. 易修改易使用,已有的代码可以直接发布使用
    3. 数据格式支持向下兼容,采用flatbuffer协议,兼容性更好,速度更快。
    4. 支持多值返回特性,支持超时机制,类比grpc,thrift,dubbo快几倍甚至 几十倍。
    5. 支持snappy压缩算法,压缩速度,性能优越。
    6. 支持管道数据压缩,动态数据压缩,请求式数据压缩,运用场景灵活广泛。
    开发环境

    IDL介绍和使用说明:

    关于kiss-rpc使用的压缩方式

    • 数据压缩:使用google snappy压缩技术, 支持强制压缩和动态压缩方式,灵活的压缩方式能够运用于各种场景。
    • 动态压缩技术: 当数据包大于200字节或者设定的阈值的时候,会压缩数据包,否则不压缩数据包,有助于空间的利用和性能的提升,response也会根据请求是否需要动态压缩数据。
    • 单请求压缩:对于单个request请求进行压缩,response也会根据请求的数据包压缩方式进行压缩。
    • 管道压缩: 可对指定的管道进行数据包压缩。
    待开发
    • 数据加密: 使用多证书加密和单证书加密,更加安全。
    • 负载均衡,反向代理:主动发现服务器,动态感知集群状态。

    kiss rpc 同步和异步测试:

    • 环境:ubuntu 16.04 lts(64位)
    • 硬件:xeon cpu e3-1230@3.3GHz x 8
    • 内存:8G
    • 网络:localhost(本地环回)
    59582266.png

    kiss rpc flatbuffer版本测试:

    • 单连接 100w QPS同步测试,耗时:20秒,平均每秒5w QPS
    • 单连接 100w QPS异步测试, 耗时5秒,平均每秒20w QPS
    59682393.png
    1000并发异步测试
    • 1000并发, 100wQPS异步测试, 耗时:5秒,平均每秒QPS:20W
    59698927.png

    其他rpc性能对比 测试:(http://blog.csdn.net/jek123456/article/details/53395206)

    **
    ** 海量互联网业务系统只能依赖分布式架构来解决,而分布式开发的基石则是RPC;本文主要针对两个开源的RPC框架(gRPC、 Apache Thrift),以及配合GoLang、C++两个开发语言进行性能对比分析。*

    • 测试场景client, server都是单进程,长连接,在单次连接内发起1w(5w)次rpc调用,计算耗时;
      client, server都是单进程,短连接,共发起1w(5w)次连接,每次连接单次RPC调用,计算耗时;
      并发4个client进程,每个进程长连接10w rpc,服务端单进程多线程(协程),计算耗时;

    • 由于不同语言,耗时统计存在偏差,比如boost.timer在程序里计算出来的耗时明显偏小,所以统一使用linux命令time来计算耗时;

    1.单进程下,长短连接,两个RPC框架和两大语言对比
    1846c0c8-42c3-4b40-b188-d6c024f94d34.png 6bcf041a-1779-494b-a543-ec34dafa4069.png
    • 小结:
      整体上看,长连接性能优于短连接,性能差距在两倍以上;
      对比Go语言的两个RPC框架,Thrift性能明显优于gRPC,性能差距也在两倍以上;
      对比Thrift框架下的的两种语言,长连接下Go 与C++的RPC性能基本在同一个量级,在短连接下,Go性能大概是C++的二倍;
      对比Thrift&C++下的TSimpleServer与TNonblockingServer,在单进程客户端长连接的场景下,TNonblockingServer因为存在线程管理开销,性能较TSimpleServer差一些;但在短连接时,主要开销在连接建立上,线程池管理开销可忽略;
      两套RPC框架,以及两大语言运行都非常稳定,5w次请求耗时约是1w次的5倍;
    2.多进程(线程,协程)下,两大RPC框架和两大语言对比
    8b632946-5b54-4552-a1b2-898c5f1441cd.png 6fda7744-ec65-48b8-ae72-3ba2cb73b5c2.png

    相关文章

      网友评论

        本文标题:高性能异步RPC框架 kiss-rpc-flatbuffer介绍

        本文链接:https://www.haomeiwen.com/subject/ogtafxtx.html