redis

作者: outwar | 来源:发表于2018-12-20 11:00 被阅读0次

    string

    采用预分配的方式减少内存的频繁分配,实际空间会大于实际字符串长度。SDS(Simple Dynamic String)

    list

    redis在底层存储的list不是简单的linkedlist,而是称之为快速链表的quicklist。首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也称之为压缩列表,它将所有的元素紧挨着一起存储,分配的是一块连续的内存。当数据量较多时才会改成quicklist。因为普通的链表需要的附加指针空间太大,会比较浪费空间,而且会家中内存的碎片化。quicklist也就是将多个ziplist使用双向指针串起来,既能满足快速插入删除的性能,又不会出现太大的空间冗余。

    hash

    redis中的hash和java的HashMap是一致的,数组+链表,第一维数组位置碰撞就会将元素通过链表串起来(不过redis会有新旧两个)。不过redis的hash只能存储字符串,而且在rehash时会通过渐进式rehash同时保留新旧两个hash结构,查询时会同时查询两个hash结构。目的是rehash操作比较耗时,为了不阻塞服务。

    zset

    内部value是唯一的,每个value有一个score,代表这个value的排序权重,内部通过跳跃列表实现。

    分布式锁

    不推荐。setnx(不存在才会插入) + ex(超市时间),还要注意值必须是随机数或者当前时间纳秒,释放锁时通过lua脚本对值进行判断然后删除。

    if redis.call("get", KEY[1]) == ARGV[1] then
        return redis.call("del", KEYS[1])
    

    不推荐去实现redis可重入锁。

    消息队列

    通过blpop(阻塞读)实现简单的消息队列。如果一直没有消息,服务端会断开连接,所以实现时还要注意捕获异常,还要重试。

    延时队列

    (DelayQueue/ScheduledThreadPoolExecutor)redis的延时队列可以通过zset实现。设置scope为到期时间,多线程轮训获取到期的value,通过zrem判断最终得到value的线程是哪个。

    位图

    setbit key offset value
    getbit key offset
    bitcount key start end 统计1的数量
    bitpos key bit start end 范围内第一个指定的bit
    此处的start和end必须是8的倍数!
    bitfield

    HyperLogLog

    不精确的去重计数方案。
    pfadd/pdcount/pfmerge
    redis进行了优化,在计数较小时采用稀疏矩阵存储,计数较大时转变成稠密矩阵,占用12k空间。12k是因为redis使用了16384个桶,每个桶的maxbits需要6个bits来存储,2^14*6/8=12k。

    布隆过滤器 BloomFilter

    需要使用插件安装。通过多个hash函数保证了不存在肯定是正确的,判断存在的话有一定误判率。为了保证误判率,需要考虑好初始大小和误判率两个参数。
    bf.add 添加元素 bf.madd
    bf.exists 查询元素是否存在 bf.mexists

    限流

    通过zset的score保留一个时间窗口,value保证不重复即可。

    漏斗限流

    redis-cell模块
    cl.throttle key capacity count time quota
    capacity初始容量
    count/time漏水速率
    quota默认1

    geohash

    redis中经纬度使用52位的整数进行编码,放进来zset中,value是元素的key,score是geohash的52位整数值。
    geoadd key lon lat value 添加一个坐标
    geodist key value1 value2 unit(km) 计算两个坐标距离
    geopos key value 返回经纬度坐标
    georadiusbymember key value 20 km count 3 asc 返回指定值最近20km内最近的3个坐标(包含value自身)
    georadius 查询指定坐标附近的点。

    Stream

    不推荐PubSub。在5.0推出Stream。

    压缩

    过期

    redis会将所有设置了过期时间的key放入一个独立的map,然后通过定时遍历删除过期的key。定时遍历的算法描述如下:

    1. 从过期map中随机20个key
    2. 删除当中过期的key
    3. 如果过期key比例超过1/4就重复步骤1
      所以在客户端访问某个key的时候需要首先判断该key是否过期,已经过期就删除。

    相关文章

      网友评论

          本文标题:redis

          本文链接:https://www.haomeiwen.com/subject/vfzekqtx.html