美文网首页
【Aerospike 实战 - 1】 心得

【Aerospike 实战 - 1】 心得

作者: 云石畅想 | 来源:发表于2019-10-09 14:58 被阅读0次

使用aerospike5年的一点心得。

在360的时候,第一次接触到aerospike,但是没怎么使用,因为没有场景,只是看了看文档,架构,设计理念。

到在阿里的时候,第一次遇到推荐场景,做分布式nosql kv产品的选型,第一个选的是自己改装leveldb的,但是leveldb本身的单线程写和合并操作,当遇到读写比例为1:1时候,经常遇到性能瓶颈。

然后选用了cassandra,压测阶段和导入历史数据阶段,一些正常,但是切流量后,到高峰时间,突然遇到大量full gc操作,整个集群hang住,请求超时触发雪崩,然后整个推荐系统降级。翻阅文档和发了官方邮件后,发现cassandra推荐的vm只有8G还是16G来着,对我们这种大内存机器和读写比例场景,内存配置太高了,fullgc一次的时间太长,而只配置8G后,整个集群因为缓存命中率低,整个性能下降的很厉害。

不由得再次选择了aerospike进行尝试,整个aero的配置很简单,集群也是无中心化的,文档也比较丰富。配置后,切全流量很简单,因为是c语言开发,编译依赖少,没有gc问题。支持的数据类型也丰富,基本可以满足各种场景需求,增减容全自动,只不过减容的时候,如果数据占比比较大,会抖动一下,这个再生产环境,可以在半夜解决。

所以在后面的工作中,基本aero就是我的第一选择,中间使用过各种自研工具,以及各种新的开源分布式kv存储工具,配置上,aero都是很简单的,性能上也是碾压,更新速度一直很快,bugfix和新特性跟进都很快。

相比各个互联网公司,各种用leveldb和rocksdb自研一套kv,真不如吃透一个开源的分布式存储服务,然后二次开发或者直接参与贡献。为了刷成就感而造新轮子,经验不如别人多,坑都踩一遍,有没有积累,真是蠢。为了KPI而做,其实就是领导有问题,刷存在感和成就感,而不是站在巨人的肩膀上。

相关文章

  • 【Aerospike 实战 - 1】 心得

    使用aerospike5年的一点心得。 在360的时候,第一次接触到aerospike,但是没怎么使用,因为没有场...

  • 【Aerospike 实战 - 3】 安装

    参考文档:https://www.aerospike.com/docs/operations/install/li...

  • Aerospike (1) - 初探

    注:本文转自我的个人博客 Aerospike (1) - 初探。 应用场景 在很多业务场景比如反欺诈、广告定向推荐...

  • 【Aerospike 实战 - 4】 集群划分

    这个是我在我们产品中的生产环境定义,不具有普遍性,可以不看。 以下的概念定义,是根据自己业务自己定义的。生产机房搭...

  • 【Aerospike 实战 - 2】 常用链接(Communit

    一、常用链接地址 配置说明手册版本列表和说明各种边界和限制各种数据类型的长度限制

  • Aerospike (2) - 写机制

    注:本文转自我的个人博客 Aerospike (2) - 写机制。 最近使用Aerospike遇到了不少的问题,在...

  • Aerospike

    Aerospike是什么 Aerospike是一个分布式可扩展的键-值NoSql数据库。它支持灵活的数据模式,并且...

  • Aerospike基本概念

    一、什么是Aerospike(AS) Aerospike是一个分布式,高可用的 K-V类型的Nosql数据...

  • 创业实战心得1

    人品​比能力更​重要。古人云:“德者才之​王,才​者​德之奴。”人​可以没​有学历,但不​可以​没有知识,​更不可...

  • Linux 程序设计1:深入浅出 Linux 共享内存

    笔者最近在阅读Aerospike 论文时,发现了Aerospike是利用了Linux 共享内存机制来实现的存储索引...

网友评论

      本文标题:【Aerospike 实战 - 1】 心得

      本文链接:https://www.haomeiwen.com/subject/lofgpctx.html