redis高可用

1. Redis集群简介

1.1 什么是Redis集群

Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。根据搭建的方式和集群的特性，Redis集群主要有三种模式：主从复制模式（Master-Slave）、哨兵模式（Sentinel）和Cluster模式。

1.2 Redis集群的作用和优势

1. 高可用性：Redis集群可以在某个节点发生故障时，自动进行故障转移，保证服务的持续可用。
2. 负载均衡：Redis集群可以将客户端请求分发到不同的节点上，有效地分摊节点的压力，提高系统的整体性能。
3. 容灾恢复：通过主从复制或哨兵模式，Redis集群可以在主节点出现故障时，快速切换到从节点，实现业务的无缝切换。
4. 数据分片：在Cluster模式下，Redis集群可以将数据分散在不同的节点上，从而突破单节点内存限制，实现更大规模的数据存储。
5. 易于扩展：Redis集群可以根据业务需求和系统负载，动态地添加或移除节点，实现水平扩展。

通过了解Redis集群的概念和优势，接下来将详细介绍三大集群模式的原理、配置、优缺点以及应用场景。

2. 主从复制模式（Master-Slave）

2.1 主从复制原理

主从复制是Redis的一种基本集群模式，它通过将一个Redis节点（主节点）的数据复制到一个或多个其他Redis节点（从节点）来实现数据的冗余和备份。

主节点负责处理客户端的写操作，同时从节点会实时同步主节点的数据。客户端可以从从节点读取数据，实现读写分离，提高系统性能。

image.png

2.2 主从复制配置和实现

• 配置主节点：在主节点的redis.conf配置文件中，无需进行特殊配置，主节点默认监听所有客户端请求。

# 主节点默认端口号6379
port 6379

• 配置从节点：在从节点的redis.conf配置文件中，添加如下配置，指定主节点的地址和端口：

# 从节点设置端口号6380
port 6380

# replicaof 主节点IP 主节点端口
replicaof 127.0.0.1 6379

 或者，通过Redis命令行在从节点上执行如下命令：
 redis> replicaof 127.0.0.1 6379

• 验证主从复制：在主节点上执行写操作，然后在从节点上进行读操作，检查数据是否一致。

2.3 主从复制的优缺点

优点：

1. 配置简单，易于实现。
2. 实现数据冗余，提高数据可靠性。
3. 读写分离，提高系统性能。

缺点：

1. 主节点故障时，需要手动切换到从节点，故障恢复时间较长。
2. 主节点承担所有写操作，可能成为性能瓶颈。
3. 无法实现数据分片，受单节点内存限制。

2.4 主从复制场景应用

主从复制模式适用于以下场景：

1. 数据备份和容灾恢复：通过从节点备份主节点的数据，实现数据冗余。
2. 读写分离：将读操作分发到从节点，减轻主节点压力，提高系统性能。
3. 在线升级和扩展：在不影响主节点的情况下，通过增加从节点来扩展系统的读取能力。

总结：主从复制模式适合数据备份、读写分离和在线升级等场景，但在主节点故障时需要手动切换，不能自动实现故障转移。如果对高可用性要求较高，可以考虑使用哨兵模式或Cluster模式。

3. 哨兵模式（Sentinel）

3.1 哨兵模式原理

哨兵模式是在主从复制基础上加入了哨兵节点，实现了自动故障转移。哨兵节点是一种特殊的Redis节点，它会监控主节点和从节点的运行状态。当主节点发生故障时，哨兵节点会自动从从节点中选举出一个新的主节点，并通知其他从节点和客户端，实现故障转移。

image.png

3.2 哨兵模式配置和实现

1. 配置主从复制：首先按照主从复制模式的配置方法，搭建一个主从复制集群（上面已经讲过）。

2. 配置哨兵节点：在哨兵节点上创建一个新的哨兵配置文件（如：sentinel.conf），并添加如下配置：

# sentinel节点端口号
port 26379

# sentinel monitor 被监控主节点名称 主节点IP 主节点端口 quorum
sentinel monitor mymaster 127.0.0.1 6379 2

# sentinel down-after-milliseconds 被监控主节点名称 毫秒数
sentinel down-after-milliseconds mymaster 60000

# sentinel failover-timeout 被监控主节点名称 毫秒数
sentinel failover-timeout mymaster 180000

• 其中，quorum是指触发故障转移所需的最小哨兵节点数。down-after-milliseconds表示主节点被判断为失效的时间。failover-timeout是故障转移超时时间。
  为什么只配置了sentinel监控主节点，没有配置监控从节点？ 因为通过主节点，就可以找到从节点。

1. 启动哨兵节点：使用如下命令启动哨兵节点：

redis> redis-sentinel /path/to/sentinel.conf

1. 验证哨兵模式：手动停止主节点，观察哨兵节点是否自动选举出新的主节点，并通知其他从节点和客户端。

3.3 哨兵模式的优缺点

优点：

1. 自动故障转移，提高系统的高可用性。
2. 具有主从复制模式的所有优点，如数据冗余和读写分离。

缺点：

1. 配置和管理相对复杂。
2. 依然无法实现数据分片，受单节点内存限制。

3.4 哨兵模式场景应用

哨兵模式适用于以下场景：

1. 高可用性要求较高的场景：通过自动故障转移，确保服务的持续可用。
2. 数据备份和容灾恢复：在主从复制的基础上，提供自动故障转移功能。

总结：哨兵模式在主从复制模式的基础上实现了自动故障转移，提高了系统的高可用性。然而，它仍然无法实现数据分片。如果需要实现数据分片和负载均衡，可以考虑使用Cluster模式。

4. Cluster模式

4.1 Cluster模式原理

Cluster模式是Redis的一种高级集群模式，它通过数据分片和分布式存储实现了负载均衡和高可用性。在Cluster模式下，Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据，称为槽位。通过对数据的分片，Cluster模式可以突破单节点的内存限制，实现更大规模的数据存储。

image.png

4.2 数据分片与槽位

Redis Cluster将数据分为16384个槽位，每个节点负责管理一部分槽位。当客户端向Redis Cluster发送请求时，Cluster会根据键的哈希值将请求路由到相应的节点。具体来说，Redis Cluster使用CRC16算法计算键的哈希值，然后对16384取模，得到槽位编号。

4.3 Cluster模式配置和实现

1. 配置Redis节点：为每个节点创建一个redis.conf配置文件，并添加如下配置：

# cluster节点端口号
port 7001

# 开启集群模式
cluster-enabled yes

# 节点超时时间
cluster-node-timeout 15000

像这样的配置，一共需要创建6个，我们做一个三主三从的集群。

1. 启动Redis节点：使用如下命令启动6个节点：

redis> redis-server redis_7001.conf

1. 创建Redis Cluster：使用Redis命令行工具执行如下命令创建Cluster：

redis> redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1

1. cluster-replicas 表示从节点的数量，1代表每个主节点都有一个从节点。

2. 验证Cluster模式：向Cluster发送请求，观察请求是否正确路由到相应的节点。

4.4 Cluster模式的优缺点

优点：

1. 数据分片，实现大规模数据存储。
2. 负载均衡，提高系统性能。
3. 自动故障转移，提高高可用性。

缺点：

1. 配置和管理较复杂。
2. 一些复杂的多键操作可能受到限制。

4.5 Cluster模式场景应用

Cluster模式适用于以下场景：

1. 大规模数据存储：通过数据分片，突破单节点内存限制。
2. 高性能要求场景：通过负载均衡，提高系统性能。
3. 高可用性要求场景：通过自动故障转移，确保服务的持续可用。

总结：Cluster模式在提供高可用性的同时，实现了数据分片和负载均衡，适用于大规模数据存储和高性能要求的场景。然而，它的配置和管理相对复杂，且某些复杂的多键操作可能受到限制。

5. 总结

本文详细介绍了Redis的三大集群模式：主从复制、哨兵模式和Cluster模式。每种模式都有其特点和应用场景，具体如下：

1. 主从复制模式：适用于数据备份和读写分离场景，配置简单，但在主节点故障时需要手动切换。
2. 哨兵模式：在主从复制的基础上实现自动故障转移，提高高可用性，适用于高可用性要求较高的场景。
3. Cluster模式：通过数据分片和负载均衡实现大规模数据存储和高性能，适用于大规模数据存储和高性能要求场景。

在实际应用中，可以根据系统的需求和特点选择合适的Redis集群模式，以实现高可用性、高性能和大规模数据存储等目标。

---

Redis Cluster模式本身具备一定程度的自动故障转移功能。当集群中的某个主节点（master node）发生故障时，Cluster能够检测到这一故障并通过一定的机制进行故障转移（failover）以恢复服务。

Redis Cluster的故障转移流程大致如下：

• 主观下线（PFAIL）: 当集群中的某个节点连续一段时间（可配置，默认为cluster-node-timeout时间）没有与其他节点通信，与其相连的节点就会将其标记为主观下线（PFail）。
• 客观下线（FAIL）: 当足够数量的节点（至少需要多数派，也就是半数以上节点加上自身）确认同一主节点为主观下线后，该主节点会被标记为客观下线（Fail）。
• 故障转移（Failover）: 当一个主节点被标记为客观下线后，它的其中一个从节点（slave）会尝试进行故障转移，成为新的主节点。从节点首先会晋升为新的主节点，并开始接收写请求。同时，它会广播自己的主节点身份变更信息给集群中其他节点，使其他从节点指向新的主节点。
• 数据同步（Re-synchronization）: 新的主节点会尝试从旧主节点的其他从节点那里进行部分同步或者全量同步，以获得最新的数据。如果旧主节点重新上线后，它会变成新的主节点的从节点，并进行数据同步。
• 客户端重定向（Redirection）: 当客户端尝试连接已失效的主节点时，集群会返回MOVED错误，引导客户端去连接新的主节点。
  总体来说，Redis Cluster的自动故障转移是通过节点间的心跳机制、故障检测和共识算法来实现的。但相较于Redis Sentinel，Cluster的故障转移逻辑较为简单，不支持复杂的手动干预，也没有Sentinel那样的详细的故障转移配置和通知机制。

Redis Cluster模式和哨兵（Sentinel）模式都提供了自动故障转移的功能，但它们在实现原理、控制粒度和灵活性上有一定区别：

• 实现原理：
  Redis Cluster：集群内部通过节点间的Gossip协议交换状态信息，当节点发现某个主节点不可达时，经过一系列条件判断和协商，集群中的从节点会发起自动故障转移，成为新的主节点。集群通过内部机制完成故障转移，并通知客户端新的主节点位置。
• Redis Sentinel：Sentinel系统由多个Sentinel进程组成，他们持续监控Redis主从集群，并通过投票机制达成共识来决定是否进行故障转移。一旦决定进行故障转移，Sentinel会选择合适的从节点晋升为主节点，并更新其余从节点的复制源。
  控制粒度：
• Redis Cluster：故障转移发生在集群级别的单个分片（slot）上，适用于大规模分布式部署，每个节点只负责一部分数据的主从关系。
• Redis Sentinel：故障转移发生在单个Redis实例级别，它可以精细到单个主从结构，适合于较小规模或需要更细粒度控制的部署。
  配置与灵活性：
• Redis Cluster：故障转移的配置相对简单，主要依赖于内置的集群机制，自动处理大部分故障转移场景，但定制化程度较低。
• Redis Sentinel：提供了更多的故障转移配置选项，例如设置故障转移超时时间、最小在线从节点数等，同时也支持更丰富的通知机制（如通过脚本执行自定义动作），具有更高的灵活性和可控性。
  客户端交互：
• Redis Cluster：客户端需要能够理解Cluster的路由规则，能够根据MOVED或ASK错误重定向请求到正确的节点。
  Redis Sentinel：客户端可以直接连接到Sentinel，询问当前主节点的地址，Sentinel会返回最新的主节点地址给客户端，简化了客户端处理故障转移的过程。
• 综上所述，Redis Cluster更适合于大规模、高并发且需要数据分片的应用场景；而Redis Sentinel则更加灵活，适用于对故障转移控制要求较高的小到中型集群部署。

在Java项目中，我们可以结合Spring Boot和Spring Data Redis模块来通过YAML配置文件配置Redis Cluster和Redis Sentinel，然后在代码中调用。以下分别是这两种模式的YAML配置及调用示例：

Redis Cluster YAML配置示例

# application.yml
spring:
  redis:
    cluster:
      nodes: # 集群节点列表
        - localhost:6379
        - localhost:6380
        - localhost:6381
      max-redirects: 5 # 最大重定向次数，默认值通常是5

• 在Redis Cluster模式下，由于数据是通过分片（sharding）分布在多个节点上的，客户端（比如Java中通过JedisCluster或Spring Data Redis的集群支持）在执行命令时可能会遇到需要重定向的情况。这是因为客户端最初连接的节点可能并不持有目标键的数据，此时该节点会返回一个MOVED或ASK类型的错误响应，指示客户端去另一个节点上执行命令。
  max-redirects: 5 这个配置项指的是在处理一次命令过程中允许的最大重定向次数。也就是说，在执行命令时，如果由于数据分布的原因导致需要在集群内的不同节点间跳转，客户端最多会根据错误响应的指示重定向5次。如果超过这个次数还未完成命令，则认为出现了循环或其他无法解决的重定向问题，客户端通常会抛出异常，终止此次操作。
  这个配置有助于防止在极端情况下无限循环地重定向，同时也是为了避免潜在的网络延迟或配置错误导致的问题。对于正常配置和运行良好的Redis Cluster环境，通常很少会出现需要多次重定向的情况。

Redis Sentinel YAML配置示例

# application.yml
spring:
  redis:
    sentinel:
      master: myMaster # 主节点的名称
      nodes: # 哨兵节点列表
        - localhost:26379
        - localhost:26380
        - localhost:26381