1.leveldb简介
leveldb是google两位工程师实现的单机版k-v存储系统,具有以下几个特点
- key和value都是任意的字节数组,支持内存和持久化存储
- 数据都是按照key排序
- 用户可以重写排序函数
- 包含基本的数据操作接口,Put(key,value),Get(key),Delete(key)
- 多操作可以当成一次原子操作
- 用户可以通过生成snapshot,使得读取操作不受写操作影响,读取过程中看到最终数据一致性
- 支持迭代器对数据的操作
- 数据使用snappy自动压缩
- 外部操作(如文件系统操作等)通过一个虚拟接口使用,用户可以对操作系统进行定制相应操作
2. leveldb局限性
- leveldb非关系型数据库,不支持SQL查询也不支持索引
- 同一时间只支持单进程(支持多线程)访问db
- 不支持客户端-服务器模型,用户需要自己封装
3. leveldb基本框架
LevelDb本质上是一套存储系统以及在这套存储系统上提供的一些操作接口。为了便于理解整个系统及其处理流程,我们可以从两个不同的角度来看待LevleDb:静态角度和动态角度。从静态角度,可以假想整个系统正在运行过程中(不断插入删除读取数据),此时我们给LevelDb照相,从照片可以看到之前系统的数据在内存和磁盘中是如何分布的,处于什么状态等;从动态的角度,主要是了解系统是如何写入一条记录,读出一条记录,删除一条记录的,同时也包括除了这些接口操作外的内部操作比如compaction,系统运行时崩溃后如何恢复系统等等方面
20160130211357097.pngleveldb做为存储系统,在整个系统运行过程中,基本的框架如下所示
如图所示,leveldb的存储介质分为内存和磁盘两种。内存中有memtable和immutable memtable;磁盘中有log文件,manifest文件,Current文件以及分level的sstable文件;
1). 当用户往db插入一条key-value数据的时候,会先写log文件,当写log成功之后再把当前记录写到memtable中。为什么写数据的时候要先写log文件呢,主要是因为新插入的数据会保存在内存中,为了防止系统崩溃导致新插入数据丢失,因此要先写log文件保证落地之后,再写内存。这样即使系统崩溃了,也能够从log中恢复出来。
2). memtable中的数据是可读可写,当memtable的数据量达到一个数据量之后。当前的memtable变成了immutable memtable,只读不可修改。重新生成新的memtable和log文件,新来的数据写到新的log和memtable中。
3). immutable memtable中的数据会被dump到磁盘中的sstable文件,磁盘中的sstable文件是有层级的,第一层level0到第n层leveln...,每个level都有很多sstable文件,每个文件都是按照key排好序。注意了level0和其它level不一样,level0中的sstable文件的key有可能重复,其它level的sstable文件的key保证不会有重复。
20160130214723516.png4). 由于每个level中有许多sstable文件,每个sstable文件都有key range。所以需要一个文件来保存当前所有level中sstabel的key range。manifest文件主要就是用来存储每个level中的sstable的信息
5). 随着系统不断的运行,每个level中的sstable文件可能会越来越多,这个时候db会自动把同一个level或者不同level中的sstable文件会进行merge。这个时候manifest就会发生变化,因此我们需要一个Current文件来记录当前最新的manifest文件。
网友评论