美文网首页
LSM 存储引擎

LSM 存储引擎

作者: NazgulSun | 来源:发表于2022-02-16 19:10 被阅读0次
Reference
  • 深入浅出分析LSM树(日志结构合并树)
    https://zhuanlan.zhihu.com/p/415799237
    核心思想,利用磁盘超高的顺序写性能来达到极致的write 吞吐量,同时优化查询时候的性能;
    适合大数据相关的场景, leveldb,rocksdb,cassandra, 其实类似kafka也是采用了这种思路; 一切都是顺序写,极致的写性能;

  • nebula 对 rocksdb 的key/value 的优化
    nebula和其他图数据库,都在利用rocksdb的一些特型;
    lsm 存在一个读写放大的问题,但是用 顺序读写的情况来提升成本的IO性能,只要读写放大的倍数,不超过顺写读写带来的性能提升,都是可以接受的。 但是随着ssd 技术的持续发展,读写放大的问题,对于性能的影响越来越不可忽略;
    所以,nebula 尝试了使用 lsm 的key/value 分离来进一步优化性能; 大的value存储在单独的log文件,lsm 存储 小的key/value
    这样可以使得 lsm tree的level 变得更小;树的层次变小,会减少读放大的开销;

具体可以参考: https://mp.weixin.qq.com/s/hK6Y3bLEFxi9OQjsecoUDw
整个nebula 团队,对技术的研究非常深入,而且有非常科学严禁的性能提升测试证明;

相关文章

  • HBase与LSM树

    一、LSM树的原理 讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎是哈希表...

  • LSM 存储引擎

    Reference 深入浅出分析LSM树(日志结构合并树)https://zhuanlan.zhihu.com/p...

  • 01. HBase的LSM存储思想

    什么是LSM树? 三种基本的存储引擎——LSM树的由来 哈希存储引擎 是哈希表的持久化实现,支持增、删、改以及随...

  • LSM树由来、设计思想以及应用到HBase的索引

    讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎 是哈希表的持久化实现,支持...

  • Hbase--读取数据快还是写数据快

    首先,需要明确的是,Hbase写入速度比读取速度要快,根本原因LSM存储引擎 从存储引擎的角度分析 Hbase底层...

  • LSM-Tree设计思想

    需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎 是哈希表的持久化实现,支持增、删、改以及...

  • leveldb 源码分析

    Arch lsm-tree 存储引擎 WriteBatch的数据格式 WAL的数据格式 SST数据格式image....

  • LSM树理解

    LSM树理解 对比三种引擎的实现: hash存储引擎:哈希表持久化的实现,可以快速支持增删改查等随机操作,且时间复...

  • 深度干货 | 让数据存得起 看得见,云原生多模数据库Lindor

    一、问题与挑战 1.1 多样化的数据需求 Lindorm的架构起源于Bigtable,其核心是LSM引擎+存储计算...

  • 08. HBase数据存取优化

    存储优化(LSM) 检索(获取)优化

网友评论

      本文标题:LSM 存储引擎

      本文链接:https://www.haomeiwen.com/subject/bbpdlrtx.html