美文网首页
redis数据结构之字典

redis数据结构之字典

作者: 0爱上1 | 来源:发表于2018-10-28 10:46 被阅读7次

    参考文献:黄健宏《Redis设计与实现》

    定义

    字典又称为符号表,映射或关联数组,是一种用于保存键值对的抽象数据结构

    由于C语言中并没有内置这种数据结构,因此Redis构建了自己的字典实现


    字典实现

    Redis中的字典实现采用哈希表作为底层实现,一个哈希表中有多个哈希表节点,而每一个哈希表节点中保存着字典中所指的一个键值对

    字典结构定义

    typedef struct dict {
      // 哈希表
      dictht ht[2];
    
      // rehash 索引,当rehash不在进行时,值为-1
      int rehashidx;
    }
    

    可见其内部定义了一个哈希表数组ht,其包含两个哈希表,另一个参数为rehashidx,该参数在后续的rehash时会重点分析

    接下来看看哈希表dictht结构定义是什么样的

    哈希表结构定义

    typedef struct dictht {
    
      // 哈希表节点Entry数组
      dictEntry **table;
    
      // 哈希表大小
      unsigned long size;
    
      // 该哈希表已有节点数量
      unsigned long used;
    }
    

    哈希表结构内部主要是一个Entry数组,另外还有一些哈希数组长度,已有节点数等参数,下面看看哈希表节点结构定义

    哈希表节点结构定义

    哈希表节点使用dictEntry结构表示,每一个dictEntry结构都保存着一个键值对

    typedef struct dictEntry {
    
      // 键
      void *key;
    
      // 值
      union {
          void *val;
          unint64_t u64;
          int64_t s64;
      } v;
    
      // 指向下一个哈希表节点,形成单向链表结构,当hash冲突时使用
      struct dictEntry *next;
    }
    

    普通字典结构图

    没有进行rehash的字典结构图

    哈希算法

    当向字典中新增一个键值对时,Redis程序会

    • Redis根据哈希算法计算出键key的哈希值

    • 根据哈希值和哈希表的sizemask属性计算出索引值(采用取模的形式)

    • 构建新的键值对节点实例dictEntry

    • 将节点索引放到哈希表数组的指定索引上

    Redis使用MurmurHash2算法来计算键的哈希值,该算法最初由08年被Austin Appleby发明,算法具有很好的随机分布性以及非常快的计算速度


    Redis如何解决键冲突

    当有两个或以上数量的键被分配到哈希表的同一个索引上的时候,就发生了键冲突

    Redis采用链地址法来解决键冲突,即每一个哈希表节点都有一个next指针,来指向被分配到同一个哈希表索引上的其他节点,形成一个单向链表。

    为了考虑添加冲突节点速度,Redis程序总是将新Entry节点添加到表头位置,这样添加的时间复杂度就为O(1),新节点会排在已有节点的前面


    何为Rehash?

    当操作的不断进行,字典的hash表中保存的键值对会逐渐增加或者逐渐减少,为了让哈希表的负载因子控制在一个合理的范围内,Redis程序需要对整个hash表进行相应的扩展或者收缩

    那么既然要扩容或者收缩(哈希表的size会变化,将导致sizemask的变化,最终导致每一个键索引计算发生变化),就需要进行重新散列,重新计算hash值以及索引值,而重新散列的过程就是Rehash,Redis中的rehash步骤可分为以下:

    • 为字典的ht[1]分配空间

    • 将保存在ht[0]中的所有键值对rehash到ht[1]中,rehash指的是重新计算ht[0]中键的hash值以及索引值,将重新计算后的键值对放到ht[1]哈希表的相应位置上

    • 当ht[0]的所有键值对都完成迁移工作后,释放ht[0],将ht[1]设置为ht[0],而原来的ht[0]就成为了一个空白的ht[1],为下一次的rehash作准备

    负载因子

    load_factory = ht[0].used /ht[0].size

    指的是哈希表中已有节点数量/哈希表大小的值

    例如一个大小为512的哈希表,包含有256个键值对,该哈希表的负载因子即为0.5

    • 当哈希表的负载因子大于1,且没有执行BGSAVE OR BGREWRITEAOF命令时会自动进行扩容操作

    • 当哈希表的负载因子小于0.1时,会自动进行收缩操作


    何为渐进式Rehash?

    以上我们知道,hash表的扩容或收缩操作需要将ht[0]中的所有键值对rehash到ht[1]中,但是如果该字典中有大量的键值对,那么一次性,集中式的完成整个rehash操作的过程就需要Redis程序耗费大量时间,以及中途不能进行任何的redis服务了,为了避免集中式rehash对redis服务器造成影响,redis服务器并不是一次性将ht[0]内的所有键值对全部rehash到ht[1],而是分多次,渐进式的rehash

    渐进式rehash过程如下:

    • ht[1]分配空间,字典同时持有ht[0] 和 ht[1]两个哈希表

    • 字典中维持一个索引计数器rehashidx(未进行rehash时值为-1),将其值设为0,表示rehash工作正式开始

    • 每一次对字典进行添加,删除,查找,更新,redis程序除了执行指定的操作之外,还会顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]上,当这一步的rehash工作完成之后,redis程序会将rehashidx属性的值加1

    • 随着字典操作的不断进行,最终会在某个时间点上,ht[0] 的所有键值对都会被rehash到ht[1]上,而此时redis会将rehashidx的值设为-1,表示rehash操作完成

    由于在渐进式rehash的过程中,字典会同时持有两个哈希表,故在其rehash期间

    字典查找:会先从ht[0]中查询,没有的话再去ht[1]中查询,删除/更新操作类似处理

    字典新增:一律保存在ht[1]中,ht[0]不会再进行任何的添加操作,从而保证ht[0]中的键值对只减不增,并最终变为空表


    总结

    • 字典再redis中被用于实现数据库

    • redis中的字典采用hash表作为其底层实现,每个字典有两个哈希表,一个平时使用,另一个仅用于rehash

    • redis采用MurmurHash2算法计算键的哈希值,同时采用取模hash表size的方式计算索引

    • 当redis发生键冲突时,会采用单向链表的形式进行处理

    • 当对哈希表进行扩容或收缩时,需要将现有哈希表中的所有键值对rehash到新的哈希表中,rehash的过程是渐进式的,并非一次性完成

    相关文章

      网友评论

          本文标题:redis数据结构之字典

          本文链接:https://www.haomeiwen.com/subject/vvhptqtx.html