美文网首页
【Aerospike 实战 - 1】 心得

【Aerospike 实战 - 1】 心得

作者: 云石畅想 | 来源:发表于2019-10-09 14:58 被阅读0次

    使用aerospike5年的一点心得。

    在360的时候,第一次接触到aerospike,但是没怎么使用,因为没有场景,只是看了看文档,架构,设计理念。

    到在阿里的时候,第一次遇到推荐场景,做分布式nosql kv产品的选型,第一个选的是自己改装leveldb的,但是leveldb本身的单线程写和合并操作,当遇到读写比例为1:1时候,经常遇到性能瓶颈。

    然后选用了cassandra,压测阶段和导入历史数据阶段,一些正常,但是切流量后,到高峰时间,突然遇到大量full gc操作,整个集群hang住,请求超时触发雪崩,然后整个推荐系统降级。翻阅文档和发了官方邮件后,发现cassandra推荐的vm只有8G还是16G来着,对我们这种大内存机器和读写比例场景,内存配置太高了,fullgc一次的时间太长,而只配置8G后,整个集群因为缓存命中率低,整个性能下降的很厉害。

    不由得再次选择了aerospike进行尝试,整个aero的配置很简单,集群也是无中心化的,文档也比较丰富。配置后,切全流量很简单,因为是c语言开发,编译依赖少,没有gc问题。支持的数据类型也丰富,基本可以满足各种场景需求,增减容全自动,只不过减容的时候,如果数据占比比较大,会抖动一下,这个再生产环境,可以在半夜解决。

    所以在后面的工作中,基本aero就是我的第一选择,中间使用过各种自研工具,以及各种新的开源分布式kv存储工具,配置上,aero都是很简单的,性能上也是碾压,更新速度一直很快,bugfix和新特性跟进都很快。

    相比各个互联网公司,各种用leveldb和rocksdb自研一套kv,真不如吃透一个开源的分布式存储服务,然后二次开发或者直接参与贡献。为了刷成就感而造新轮子,经验不如别人多,坑都踩一遍,有没有积累,真是蠢。为了KPI而做,其实就是领导有问题,刷存在感和成就感,而不是站在巨人的肩膀上。

    相关文章

      网友评论

          本文标题:【Aerospike 实战 - 1】 心得

          本文链接:https://www.haomeiwen.com/subject/lofgpctx.html