Redis-分布式缓存（三）

前置文章：
Redis-分布式缓存（一）：数据持久化、主从集群；
Redis-分布式缓存（二）：哨兵机制。

零、本文纲要

• 一、单机Redis的问题
• 二、Redis分片集群
  1、Redis分片集群的优势
  2、搭建Redis分片集群
  3、散列插槽
  4、集群伸缩
  5、故障转移/数据迁移
  6、RedisTemplate访问分片集群

tips：Ctrl + F快速定位所需内容阅读吧。

一、单机Redis的问题

1、数据丢失问题

实现Redis数据持久化；

2、并发能力问题

搭建主从集群，实现读写分离；

3、故障恢复问题

利用哨兵机制，实现健康检测和自动恢复；

4、存储能力问题

搭建分片集群，利用插槽机制实现动态扩容。

二、Redis分片集群

Scaling with Redis Cluster

1、Redis分片集群的优势

• ① 自动分割数据到不同的节点上；
• ② 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

可以解决：

• ① 海量数据存储问题；
• ② 高并发写的问题。

2、搭建Redis分片集群

• ① 准备目录及配置文件

Ⅰ 新创建出7001、7002、7003、8001、8002、8003目录：

# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

Ⅱ 准备一个新的redis.conf文件(记得修改为自己本地的IP)：

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.253.128
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /tmp/6379/run.log

Ⅲ 将文件放入每个目录：

# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

Ⅳ 修改每个目录下的redis.conf，将其中的6379修改为与所在目录一致：

# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

• ② 启动各个实例

Ⅰ 直接启动服务：

# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

Ⅱ 查看实例状态：
ps： （英文全拼：process status）命令用于显示当前进程的状态，语法ps [options] [--help]；
查找指定进程：ps -ef | grep 进程关键字；

ps -ef | grep redis

查看实例状态.png

Ⅲ 关闭所有进程：

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

• ③ 创建分片集群

Ⅰ redis-cli --cluster或者./redis-trib.rb：代表集群操作命令；
Ⅱ create：代表是创建集群；
Ⅲ --replicas 1或者--cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时节点总数 ÷ (replicas + 1) 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master

redis-cli --cluster create --cluster-replicas 1 192.168.253.128:7001 192.168.253.128:7002 192.168.253.128:7003 192.168.253.128:8001 192.168.253.128:8002 192.168.253.128:8003

创建分片集群.png 分片集群开始创建.png

查看分片集群状态：

redis-cli -p 7001 cluster nodes

查看分片集群状态.png

• ④ 测试

Ⅰ 以单节点形式连接客户端，命令redis-cli -p 7001：

[root@localhost tmp]# redis-cli -p 7001
127.0.0.1:7001> set num 123
OK
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
(error) MOVED 15495 192.168.253.128:7003

Ⅱ 以分片集群形式连接客户端，命令redis-cli -c -p 7001：

[root@localhost tmp]# redis-cli -c -p 7001
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK

3、散列插槽

• ① 散列插槽分布

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上：
slots:[0-5460] (5461 slots)
slots:[5461-10922] (5462 slots)
slots:[10923-16383] (5461 slots)

M: 063cb797912b1a8f6c86f8994defcc850b1b2144 192.168.253.128:7001
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: 3fdc9e0fc5599b10b1886f8fa8046faa6e14d8ee 192.168.253.128:7002
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 7b8f5aa31d510f3127c89907084196fb01fc02c4 192.168.253.128:7003
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)

• ② 插槽规则

数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：
Ⅰ key中包含"{}"，且“{}”中至少包含1个字符，“{}”中的部分是有效部分；
Ⅱ key中不包含“{}”，整个key都是有效部分。

192.168.253.128:7001> set {num}a 789
OK
192.168.253.128:7001> set num 456
OK
192.168.253.128:7001> set a 123
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK
192.168.253.128:7003> set {a}num 456
OK

可以看到{num}a和num被插入同一个插槽，a和{a}num又被插到另一个相同插槽。

4、集群伸缩

• ① 查看集群操作命令

redis-cli --cluster help

• ② 增删节点操作

  add-node       new_host:new_port existing_host:existing_port
                 --cluster-slave
                 --cluster-master-id <arg>

  del-node       host:port node_id

# 创建7004目录
mkdir 7004
# 拷贝配置文件
cp redis.conf 7004
# 修改配置文件
sed -i s/6379/7004/g 7004/redis.conf
# 启动7004
redis-server 7004/redis.conf
# 查看redis状态
ps -ef | grep redis

# 添加7004到集群
redis-cli --cluster add-node 192.168.253.128:7004 192.168.253.128:7001
# 查看集群状态
redis-cli -p 7001 cluster nodes

• ③ 分配插槽

  reshard        host:port
                 --cluster-from <arg>
                 --cluster-to <arg>
                 --cluster-slots <arg>
                 --cluster-yes
                 --cluster-timeout <arg>
                 --cluster-pipeline <arg>
                 --cluster-replace

• ④ 测试

Ⅰ 添加7004节点，并且分配3000个槽位：

# 连接至集群中的7001节点
redis-cli --cluster reshard 192.168.253.128:7001
# 分配3000个槽位
3000
# 接受槽位的7004节点的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7001节点的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 确认槽位分配
done
# 确认开始分配
yes

Ⅱ 删除7004节点：
移除7004节点上的槽位，将数据拷贝至7001节点：

# 连接至集群中的7004节点
redis-cli --cluster reshard 192.168.253.128:7004
# 分配3000个槽位
3000
# 接受槽位的7001节点的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7004节点的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 确认槽位分配
done
# 确认开始分配
yes

从分片集群中移除7004节点：

[root@localhost tmp]# redis-cli --cluster del-node 192.168.253.128:7004 3b86fb982c1a04142735a9923818e7716897ad81
>>> Removing node 3b86fb982c1a04142735a9923818e7716897ad81 from cluster 192.168.253.128:7004
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.

从分片集群中移除7004节点.png

5、故障转移/数据迁移

• ① 自动故障转移

故障转移.png

• ② 手动数据迁移

利用cluster failover命令可以手动让集群中的某个master宕机，切换到执行cluster failover命令的这个slave节点，实现无感知的数据迁移。

指令：CLUSTER FAILOVER [FORCE|TAKEOVER]
Ⅰ 缺省：默认的流程，如图1~6歩；
Ⅱ FORCE：省略了对offset的一致性校验，如图2~3步；
Ⅲ TAKEOVER：直接执行第5歩，忽略数据一致性、忽略master状态和其它master的意见。

手动数据迁移.png

6、RedisTemplate访问分片集群

• ① 修改原有配置

spring:
  redis:
    cluster:
      nodes:
        - 192.168.253.128:7001
        - 192.168.253.128:7002
        - 192.168.253.128:7003
        - 192.168.253.128:8001
        - 192.168.253.128:8002
        - 192.168.253.128:8003
#    sentinel:
#      master: mymaster
#      nodes:
#        - 192.168.253.128:27001
#        - 192.168.253.128:27002
#        - 192.168.253.128:27003

• ② 测试
  写：8001master节点
  读：7002slave节点

RedisTemplate访问分片集群.png

三、结尾

以上即为Redis分布式缓存的全部内容了，感谢阅读。