美文网首页
REDIS 知识点

REDIS 知识点

作者: liuliuzo | 来源:发表于2021-02-17 21:03 被阅读0次

    1. 什么是缓存雪崩?怎么解决?

    通常,我们会使用缓存用于缓冲对 DB 的冲击,如果缓存宕机,所有请求将直接打在 DB,造成 DB 宕机——从而导致整个系统宕机。

    如何解决呢?

    2 种策略(同时使用):

    • 对缓存做高可用,防止缓存宕机。
    • 使用断路器,如果缓存宕机,为了防止系统全部宕机,限制部分流量进入 DB,保证部分可用,其余的请求返回断路器的默认值。

    2. 什么是缓存穿透?怎么解决?

    解释 1 缓存查询一个没有的 key,同时数据库也没有,如果黑客大量的使用这种方式,那么就会导致 DB 宕机。
    解决方案:我们可以使用一个默认值来防止,例如,当访问一个不存在的 key,然后再去访问数据库,还是没有,那么就在缓存里放一个占位符,下次来的时候,检查这个占位符,如果发生时占位符,就不去数据库查询了,防止 DB 宕机。

    解释 2 大量请求查询一个刚刚失效的 key,导致 DB 压力倍增,可能导致宕机,但实际上,查询的都是相同的数据。
    解决方案:可以在这些请求代码加上双重检查锁。但是那个阶段的请求会变慢。不过总比 DB 宕机好。

    3. 什么是缓存并发竞争?怎么解决?

    解释 多个客户端写一个 key,如果顺序错了,数据就不对了。但是顺序我们无法控制。
    解决方案 使用分布式锁,例如 zk,同时加入数据的时间戳。同一时刻,只有抢到锁的客户端才能写入,同时,写入时,比较当前数据的时间戳和缓存中数据的时间戳。

    4.什么是缓存和数据库双写不一致?怎么解决?

    解释:连续写数据库和缓存,但是操作期间,出现并发了,数据不一致了。

    通常,更新缓存和数据库有以下几种顺序:

    • 先更新数据库,再更新缓存。
    • 先删缓存,再更新数据库。
    • 先更新数据库,再删除缓存。

    三种方式的优劣来看一下:

    先更新数据库,再更新缓存。

    这么做的问题是:当有 2 个请求同时更新数据,那么如果不使用分布式锁,将无法控制最后缓存的值到底是多少。也就是并发写的时候有问题。

    先删缓存,再更新数据库。

    这么做的问题:如果在删除缓存后,有客户端读数据,将可能读到旧数据,并有可能设置到缓存中,导致缓存中的数据一直是老数据。
    有 2 种解决方案:

    • 使用“双删”,即删更删,最后一步的删除作为异步操作,就是防止有客户端读取的时候设置了旧值。
    • 使用队列,当这个 key 不存在时,将其放入队列,串行执行,必须等到更新数据库完毕才能读取数据。

    总的来讲,比较麻烦。

    先更新数据库,再删除缓存

    这个实际是常用的方案,但是有很多人不知道,这里介绍一下,这个叫 Cache Aside Pattern,老外发明的。如果先更新数据库,再删除缓存,那么就会出现更新数据库之前有瞬间数据不是很及时。
    同时,如果在更新之前,缓存刚好失效了,读客户端有可能读到旧值,然后在写客户端删除结束后再次设置了旧值,非常巧合的情况。

    有 2 个前提条件:缓存在写之前的时候失效,同时,在写客户度删除操作结束后,放置旧数据 —— 也就是读比写慢。设置有的写操作还会锁表。

    所以,这个很难出现,但是如果出现了怎么办?使用双删!!!记录更新期间有没有客户端读数据库,如果有,在更新完数据库之后,执行延迟删除。

    还有一种可能,如果执行更新数据库,准备执行删除缓存时,服务挂了,执行删除失败怎么办???

    这就坑了!!!不过可以通过订阅数据库的 binlog 来删除。

    缓存与数据库一致性其实是一个非常庞大的专题,这里只做简要的概括

    其他问题

    1. 基础数据结构:字符串String、字典Hash、列表List、集合Set、有序集合SortedSet。
    2. 高级数据结构: HyperLogLog、Geo、Pub/Sub。
    3. BloomFilter,RedisSearch,Redis-ML
    4. Redis缓存穿透、缓存雪崩和缓存击穿

    Redis缓存穿透:缓存穿透,是指查询一个数据库一定不存在的数据。
    解决方案:BloomFilter布隆过滤器,key获取value值为空时锁上

    缓存雪崩:缓存雪崩,是指在某一个时间段,缓存集中过期失效
    解决方案:失效时间错开

    缓存击穿:是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。
    解决方案:直接设为永不过期
    补充方案:接口限流与熔断、降级

    1. Redis 支持 Lua 脚本并保证其原子性,使用 Lua 脚本实现锁校验与释放,并使用 Redis 的 eval() 函数执行 Lua 脚本。

    Redis的三种集群方式

    redis有三种集群方式:主从复制,哨兵模式和集群。

    1.主从复制

    主从复制原理:

    • 从服务器连接主服务器,发送SYNC命令;
    • 主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令;
    • 主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令;
    • 从服务器收到快照文件后丢弃所有旧数据,载入收到的快照;
    • 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令;
    • 从服务器完成对快照的载入,开始接收命令请求,并执行来自主服务器缓冲区的写命令;(从服务器初始化完成)
    • 主服务器每执行一个写命令就会向从服务器发送相同的写命令,从服务器接收并执行收到的写命令(从服务器初始化完成后的操作)

    主从复制优缺点

    优点

    • 支持主从复制,主机会自动将数据同步到从机,可以进行读写分离
    • 为了分载Master的读操作压力,Slave服务器可以为客户端提供只读操作的服务,写服务仍然必须由Master来完成
    • Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力。
    • Master Server是以非阻塞的方式为Slaves提供服务。所以在Master-Slave同步期间,客户端仍然可以提交查询或修改请求。
    • Slave Server同样是以非阻塞的方式完成数据同步。在同步期间,如果有客户端提交查询请求,Redis则返回同步之前的数据

    缺点

    • Redis不具备自动容错和恢复功能,主机从机的宕机都会导致前端部分读写请求失败,需要等待机器重启或者手动切换前端的IP才能恢复。
    • 主机宕机,宕机前有部分数据未能及时同步到从机,切换IP后还会引入数据不一致的问题,降低了系统的可用性。
    • Redis较难支持在线扩容,在集群容量达到上限时在线扩容会变得很复杂。

    2.哨兵模式

    当主服务器中断服务后,可以将一个从服务器升级为主服务器,以便继续提供服务,但是这个过程需要人工手动来操作。 为此,Redis 2.8中提供了哨兵工具来实现自动化的系统监控和故障恢复功能。

    哨兵的作用就是监控Redis系统的运行状况。它的功能包括以下两个。
    (1)监控主服务器和从服务器是否正常运行。
    (2)主服务器出现故障时自动将从服务器转换为主服务器。

    哨兵的工作方式

    • 每个Sentinel(哨兵)进程以每秒钟一次的频率向整个集群中的Master主服务器,Slave从服务器以及其他Sentinel(哨兵)进程发送一个 PING 命令。
    • 如果一个实例(instance)距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值, 则这个实例会被 Sentinel(哨兵)进程标记为主观下线(SDOWN)
    • 如果一个Master主服务器被标记为主观下线(SDOWN),则正在监视这个Master主服务器的所有 Sentinel(哨兵)进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态
    • 当有足够数量的 Sentinel(哨兵)进程(大于等于配置文件指定的值)在指定的时间范围内确认Master主服务器进入了主观下线状态(SDOWN), 则Master主服务器会被标记为客观下线(ODOWN)
    • 在一般情况下, 每个 Sentinel(哨兵)进程会以每 10 秒一次的频率向集群中的所有Master主服务器、Slave从服务器发送 INFO 命令。
    • 当Master主服务器被 Sentinel(哨兵)进程标记为客观下线(ODOWN)时,Sentinel(哨兵)进程向下线的 Master主服务器的所有 Slave从服务器发送 INFO 命令的频率会从 10 秒一次改为每秒一次。
    • 若没有足够数量的 Sentinel(哨兵)进程同意 Master主服务器下线, Master主服务器的客观下线状态就会被移除。若 Master主服务器重新向 Sentinel(哨兵)进程发送 PING 命令返回有效回复,Master主服务器的主观下线状态就会被移除。

    哨兵模式的优缺点

    优点

    • 哨兵模式是基于主从模式的,所有主从的优点,哨兵模式都具有。
    • 主从可以自动切换,系统更健壮,可用性更高。

    缺点

    • Redis较难支持在线扩容,在集群容量达到上限时在线扩容会变得很复杂。

    3. Redis-Cluster集群

    redis的哨兵模式基本已经可以实现高可用,读写分离 ,但是在这种模式下每台redis服务器都存储相同的数据,很浪费内存,所以在redis3.0上加入了cluster模式,实现的redis的分布式存储,也就是说每台redis节点上存储不同的内容。

    Redis-Cluster采用无中心结构,它的特点如下:

    • 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
    • 节点的fail是通过集群中超过半数的节点检测失效时才生效。
    • 客户端与redis节点直连,不需要中间代理层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

    工作方式

    在redis的每一个节点上,都有这么两个东西,一个是插槽(slot),它的的取值范围是:0-16383。还有一个就是cluster,可以理解为是一个集群管理的插件。当我们的存取的key到达的时候,redis会根据crc16的算法得出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作。

    为了保证高可用,redis-cluster集群引入了主从模式,一个主节点对应一个或者多个从节点,当主节点宕机的时候,就会启用从节点。当其它主节点ping一个主节点A时,如果半数以上的主节点与A通信超时,那么认为主节点A宕机了。如果主节点A和它的从节点A1都宕机了,那么该集群就无法再提供服务了。

    文章参考自:
    如何保障mysql和redis之间的数据一致性
    redis如何保证数据一致性
    如何解决Redis缓存和MySQL数据一致性的问题
    Redis怎么保持缓存与数据库一致性
    redis缓存与数据库一致性问题
    缓存与数据库一致性系列
    如何保证Redis和数据库双写一致性
    redis的三种集群方式

    相关文章

      网友评论

          本文标题:REDIS 知识点

          本文链接:https://www.haomeiwen.com/subject/pdjwxltx.html