美文网首页
redis使用

redis使用

作者: laowangv2 | 来源:发表于2020-10-17 19:41 被阅读0次

    一、支持的数据类型

    • String
    • Hash
    • List
    • Set
    • Zset
    • Bitmap
      字符串实现
    • Hyperloglog
      近似的基数计数
    • Geospatial index

    二、数据结构设计

    1. 对象、类型、编码

    • 对象
      是redis中key、value实际使用的对象结构:
    typedef struct redisObject {
    
        // 类型
        unsigned type:4;
    
        // 编码
        unsigned encoding:4;
    
        // 指向底层实现数据结构的指针
        void *ptr;
    
        // ...
    
    } robj;
    
    • 类型
      是数据类型:


      type
    • 编码
      是底层数据结构:


      encode
    • 类型与编码的对应关系


      type and encode
    • 底层数据结构
      参考《redis设计与实现》

    三、应用场景

    1. 缓存

    缓存一致性

    • 更新还是删除缓存?
      更新的话无论先更新缓存还是先更新数据库都会有ABBA的问题,缓存总是旧的
      (A更新缓存 -> B更新缓存 -> B更新数据库 -> A更新数据库) 或
      (A更新数据库 -> B更新数据库 -> B更新缓存 -> A更新缓存
    • 先删缓存还是先更新数据库?
      先删缓存,有可能删掉之后,另一个线程来访问,miss之后去数据库取到旧值更新缓存,然后才更新数据库
      先更新数据库,只是删除缓存之前这一点点时间读到旧值,影响较小

    过期时间

    可以通过expire等命令设置过期时间,也可以通过setex在set的同时原子地设置过期时间

    过期策略

    • 定时删除
      定时器,到时主动删除。内存友好,cpu不友好。
    • 惰性删除
      访问时判断是否过期,过期则删除,返回nil。cpu友好,内存不友好。
    • 定期删除
      定时扫描,删除部分过期的key。折中方案。

    redis使用惰性+定期。

    淘汰策略

    当内存使用达限后,启用淘汰策略。

    • noeviction(默认策略):对于写请求不再提供服务,直接返回错误(DEL请求和部分特殊请求除外)
    • allkeys-lru:从所有key中使用LRU算法进行淘汰
    • volatile-lru:从设置了过期时间的key中使用LRU算法进行淘汰
    • allkeys-random:从所有key中随机淘汰数据
    • volatile-random:从设置了过期时间的key中随机淘汰
    • volatile-ttl:在设置了过期时间的key中,根据key的过期时间进行淘汰,越早过期的越优先被淘汰
      volatile相关的策略没有可以淘汰的键时,处理同noeviction

    big key问题

    1. 删除大key
      直接del复杂度O(n),会导致长时间阻塞。解决方案:分批删 or unlink(4.0之后),unlink实现时先把key删掉,空间慢慢释放

    缓存过期的注意事项

    • 缓存穿透

    大量访问不存在的数据,穿透缓存直达数据库,直至数据库不堪负重
    解决方法

    1. 如果数据量不大可以直接增加空值缓存,过期时间小一点以节省内存
    2. 布隆过滤器
    • 缓存雪崩

    缓存集中失效或者宕机,大量请求直达数据库
    解决方法

    1. 缓存集群高可用
    2. 过期时间上增加一个小的随机值
    • 缓存击穿

    热点数据失效,大量请求打到数据库。和雪崩的区别是,击穿是热点key,雪崩是大量的key,不一定是热点。共同点是大量请求打到数据库。
    解决方法

    1. 热点key永不过期
    2. 加锁,只有拿到锁的线程去读取db,更新缓存,其他线程阻塞

    2. 分布式锁

    • 加锁
      SET resource_name my_random_value NX PX 30000
    • 解锁
    # lua
    if redis.call("get",KEYS[1]) == ARGV[1] then
       return redis.call("del",KEYS[1])
    else
       return 0
    end
    
    • redission
      redis客户端之一,封装了上面的操作,可以像操作java锁一样使用
    • 问题
      set命令加锁的单点挂掉,并且没来得及同步给slave,那么锁就失效了。为此推出了redlock算法,不过这个算法也不完美,参见redlock神仙打架事件

    3. 布隆过滤器

    • 用处
      用于判断key可能存在和一定不存在,常用于
      1. 解决缓存穿透
      2. 垃圾邮件过滤
      3. 大数据量去重
    • 原理
      一个长数组+多个哈希函数
    • 用法
      需要Redis版本支持插件,并安装RedisBloom
      BF.RESERVE {key} {error_rate} {capacity} [EXPANSION expansion] [NONSCALING]
      详见 RedisBloom Bloom Filter Command Documentation

    4. 位图

    • 命令如下,offset最大512M,2^32
      • SETBIT key offset value
      • GETBIT key offset
      • BITCOUNT key [start] [end]
      • BITPOS key bit [start] [end] # 返回位图中第一个值为 bit 的二进制位的位置
      • BITOP operation destkey key [key …] # 对一个或多个保存二进制位的字符串 key 进行位元操作,并将结果保存到 destkey 上
      • BITFIELD 参见
    • 常见用途
      1. 活跃用户
      2. 签到
    • 分片技巧
      例如,10w位分一片,100001分在100001/100000 = 1第二片,offset = 100001%100000 = 1

    四、其他

    pipeline和事务

    1. pipeline
      多个命令打包发送,客户端行为,对服务器而言和一个一个收到没有区别。
      集群模式下可以使用redission支持pipeline,或者自己开发获取key对应的slot。
    2. 事务
      • A
        入队错误,所有都不会执行。执行错误,不会回滚,剩下的继续执行。算满足吧
      • C
        入队错误,不执行,满足一致性。执行错误,继续执行,满足一致性。服务器停机,要么没有持久化,空白;要么根据持久化恢复,都满足一致性
      • I
        单线程,天然满足
      • D
        取决于刷盘策略

    参考

    Redis的内存淘汰策略
    缓存失效的经典问题
    5 分钟搞懂布隆过滤器,亿级数据过滤算法你值得拥有!
    Redis(5)——亿级数据过滤和布隆过滤器
    Redis 应用场景汇总
    不懂缓存一致性,易把代码写成Bug

    相关文章

      网友评论

          本文标题:redis使用

          本文链接:https://www.haomeiwen.com/subject/unpwuktx.html