美文网首页
redis数据结构上层--对象系统

redis数据结构上层--对象系统

作者: 忘记M | 来源:发表于2019-06-12 14:03 被阅读0次

        redis没有直接使用数据结构来实现键值对的数据库,而是基于这些数据结构创建了一个对象系统,包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象五种类型。

        对redis数据库键值对来说,键永远都是字符串对象,而值可以 是字符串对象、列表对象、哈希对象、集合对象和有序集合对象五种类型,故接下来所说的几种对象,都是键值对的值对象。

    type: 对象类型,五种类型之一。

    encoding:对象所使用的编码,也即对象使用了什么数据结构作为底层实现。

    每种类型的对象都至少使用了两种不同编码(数据结构)。

    字符串对象:

            整数值、embstr、简单动态字符串

    列表对象:

            压缩列表、双端列表

    哈希对象:

            压缩列表、字典实现

    集合对象:

            整数集合、字典实现

    有序集合对象:

            压缩列表实现、跳跃表和字典实现

    一 字符串对象

        字符串对象保存的是整数值,且可以用long表示,值会保存在pre属性里,并将字符串对象的编码设置为int。

        字符串对象是唯一一种会被其他四种对象嵌套的对象。

        字符串对象保存的是字符串值,且值的长度大于32字节,则以SDS来保存这个字符串值,并将对象编码设置为raw。

         字符串对象保存的是字符串值,且值的长度小于等于32字节,则以SDS来保存这个字符串值,并将对象编码设置为embstr。

        raw和embstr的区别在于,raw会调用两次内存分配来分别创建redisObject结构和sdshdr结构,而embstr则只调用一次内存分配函数来分配一块连续的空间。同理,释放对象内存的时候,raw需要调用两次,而embstr只需调用一次。

        embstr编码的字符串对象在执行命令时,效果和raw编码字符串对象效果一样。

        embstr编码字符串对象只读,一旦修改,则会变为raw编码字符串。

    二 列表对象

    列表对象的编码是ziplist或linkedlist。

    ziplist编码的列表对象使用压缩列表作为底层实现,每个压缩列表节点保存了一个列表元素。

    linkedlist编码的列表对象使用双端链表作为底层实现,每个双端链表节点都保存了一个字符串对象,而每个字符串对象都保存了一个列表元素。

    为了简化字符串对象表示,实际StringObject的结构如下图:

    StringObject

    列表对象在压缩列表和双端链表间的转换:

    1,列表对象保存的所有字符串元素的长度都小于64字节。

    2,列表对象保存的元素数量小于512个。

    满足上述两个条件,列表对象使用ziplist编码,否则使用linkedlist编码。

    注:以上两个条件的上限可配置修改,list-max-ziplist-value 和 list-max-ziplist-entries 。

    三 哈希对象

    哈希对象的编码可以是ziplist 或 hashtable 。

    ziplist编码的哈希对象使用压缩列表作为底层实现,有新键值对(指值是键值对形式)进入时,先把保存了键的压缩列表节点放到压缩列表表尾,然后再把保存了值的压缩列表节点放到压缩列表表尾,故同一键值对的两个节点总是连在一起。

    hashtable编码的哈希对象使用字典作为底层实现,哈希对象中的每个键值对都使用一个字典键值对来保存。

    哈希对象两种编码间的转换:

    1,哈希对象所保存的所有键值对的键和值的字符串长度都小于64字节。

    2,哈希对象的键值对的数量小于512个。

    满足上述两个条件,哈希对象使用ziplist编码,否则使用hashtable编码。

    注:以上两个条件的上限可配置修改,hash-max-ziplist-value 和 hash-max-ziplist-entries 。

    四 集合对象

    集合对象编码可以用intset 或者 hashtable 。

    intset编码的集合对象使用整数集合作为底层实现,集合对象的所有元素都被保存在整数集合里。

    hashtable编码的集合对象使用字段作为底层实现,字典的每一个键都是字符串对象,每个字符串对象包含了一个集合元素,而字典的值全部被置为null 。

    intset编码 hashtable编码

    集合对象两种编码间转换:

    1,集合对象保存的所有元素都是整数值 。

    2,集合对象保存的元素个数不超过512 。

    满足上述条件,则使用intset编码,否则,使用hashtable编码 。

    注:以上第二个条件的上限可配置修改, set-max-intset-entries 。

    五 有序集合对象

    有序集合的编码可以用ziplist 或 skiplist 。

    ziplist编码的有序集合对象使用压缩列表作为底层实现,每个集合元素使用 两个紧挨在一起的压缩列表节点保存,第一个节点保存元素成员(member),第二个节点保存元素的分值(score)。

    压缩列表内的集合元素按分值从小到大排序,分值小的元素靠近表头,分值大的靠近表尾。

    skiplist 编码的有序集合对象使用zset结构作为底层实现,一个zset结构同时包含一个字典和一个跳跃表。

    zset结构中的zs1跳跃表按分值从小到大保存所有集合元素,每个跳跃表节点都保存了一个集合元素,跳跃表节点的object属性保存了元素成员,而跳跃表节点的score属性则保存了元素的分值。

    zset结构中的dict字典为有序集合创建了一个从成员到分值的映射,字典汇中的每个键值对都保存了一个集合元素,字典的键保存了元素的成员,字典的值保存了元素的分值。

    理论上,有序集合可以单独使用字典或跳跃表一种数据结构来实现,但无论单独用哪种,性能上总是比不上同时使用。比如查找指定成员分值,直接使用dict,而查找成员排名,则使用跳跃表。

    有序集合ziplist和zset编码间的转换:

    1,有序集合保存的元素数量小于128个。

    2,有序集合保存的所有元素成员长度小于64字节。

    满足上述两个条件,则使用ziplist ,否则,使用zset 。

    注:以上两个条件的上限可配置修改,zset-max-ziplist-value 和 zset-max-ziplist-entries 。

    五 内存收回

    因C语言没有自动内存收回功能,所以redis自己构建了一个引用计数技术实现内存回收机制。

    1,创建一个新对象时,引用计数的值被初始化为1;

    2,当对象被一个新程序使用时,它的引用计数增加1;

    3,当对象不再被一个程序使用时,它的引用计数减1;

    4,当对象的引用计数值变为0时,对象所占用的内存会被释放。

    六 对象共存

    对象引用计数的属性还带有对象共存的作用。

    redis中,多个键共享同一个值时,数据库键的值指针指向一个现有的值对象,同时被共享的值对象的引用计数增一。

    目前来说,redis初始化服务器时,会创建一万个字符串对象,包含从0-9999所有整数值,所以当用到0-9999的字符串对象时,服务器会共享这些对象,而不会再创建新对象。

    七 对象的空转时长

    lru:记录了对象最后一次被命令程序访问的时间。

    redisObject 完整结构:

    参考文献《redis设计与实现第二版》

    相关文章

      网友评论

          本文标题:redis数据结构上层--对象系统

          本文链接:https://www.haomeiwen.com/subject/evyffctx.html