Redis-Cluster

Redis Cluster是一个高性能高可用的分布式系统。由多个Redis实例组成的整体，数据按照一致性哈希算法存储分布在多个Redis实例上，并对使用虚拟槽（Slot）对一致性哈希算法进行改进，通过Gossip协议来进行节点之间通信。

关于一致性哈希，可以看这篇文章 http://www.zsythink.net/archives/1182

Redis集群一般由多个节点组成，节点数量至少为6个（3主3从）才能保证组成完整高可用的集群。

1.Redis Cluster集群搭建

1.1准备各节点配置文件(配置项参考文末的说明)

[root@VM_41_201_centos redis.d]# ls -l
总用量 344
-rw-r--r-- 1 root root 46748 5月   7 15:36 redis-6379.conf
-rw-r--r-- 1 root root 46748 5月   7 15:41 redis-6380.conf
-rw-r--r-- 1 root root 46748 5月   7 15:42 redis-6381.conf
-rw-r--r-- 1 root root 46748 5月   7 15:43 redis-6382.conf
-rw-r--r-- 1 root root 46748 5月   7 15:43 redis-6383.conf
-rw-r--r-- 1 root root 46748 5月   7 15:44 redis-6384.conf
-rw-r--r-- 1 root root 46730 5月   7 14:30 redis.conf
-rw-r--r-- 1 root root  7355 5月   7 14:30 redis-sentinel.conf

1.2启动各redis节点（各节点以cluster方式启动，但彼此并不知道其它节点的存在需要使用meet命令握手通信）

[root@VM_41_201_centos redis.d]# redis-server redis-6379.conf
[root@VM_41_201_centos redis.d]# redis-server redis-6380.conf
[root@VM_41_201_centos redis.d]# redis-server redis-6381.conf
[root@VM_41_201_centos redis.d]# redis-server redis-6382.conf
[root@VM_41_201_centos redis.d]# redis-server redis-6383.conf
[root@VM_41_201_centos redis.d]# redis-server redis-6384.conf
[root@VM_41_201_centos redis.d]# ps -ef | grep redis
root       475     1  0 15:44 ?        00:00:00 redis-server 127.0.0.1:6379 [cluster]
root       494     1  0 15:44 ?        00:00:00 redis-server 127.0.0.1:6380 [cluster]
root       498     1  0 15:44 ?        00:00:00 redis-server 127.0.0.1:6381 [cluster]
root       502     1  0 15:44 ?        00:00:00 redis-server 127.0.0.1:6382 [cluster]
root       506     1  0 15:44 ?        00:00:00 redis-server 127.0.0.1:6383 [cluster]
root       565     1  0 15:45 ?        00:00:00 redis-server 127.0.0.1:6384 [cluster]
root       576 31779  0 15:45 pts/1    00:00:00 grep --color=auto redis
root     28350 27811  0 14:35 pts/0    00:00:00 vim redis-6379.conf

1.3各节点握手，建立集群（此时未分配slot，处于fail状态，还不能正常工作）

127.0.0.1:6379>cluster meet 127.0.0.1 6380
127.0.0.1:6379>cluster meet 127.0.0.1 6381
127.0.0.1:6379>cluster meet 127.0.0.1 6382
127.0.0.1:6379>cluster meet 127.0.0.1 6383
127.0.0.1:6379>cluster meet 127.0.0.1 6384

1.4执行addslots.sh，手动为各节点添加slot

[root@VM_41_201_centos redis.d]# ./addslots.sh 6379 0 5461
...
[root@VM_41_201_centos redis.d]# ./addslots.sh 6380 5462 10922
...
[root@VM_41_201_centos redis.d]# ./addslots.sh 6381 10923 16383
...

1.5再次查看cluster info信息

[root@VM_41_201_centos redis.d]# redis-cli -p 6379 cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:5
cluster_my_epoch:2
cluster_stats_messages_sent:24495
cluster_stats_messages_received:24495

1.6再次查看cluster nodes信息

[root@VM_41_201_centos redis.d]# redis-cli -p 6379 cluster nodes
5a6b4ea16d2064c7298acda98fb2984eb3c784b6 127.0.0.1:6383 master - 0 1494155309857 4 connected
ac9c04d13e3c6fd8dbce0333679345da6583b1ca 127.0.0.1:6381 master - 0 1494155312871 3 connected 10923-16383
54d92a13eca6aeb2bd4a0c0a51a59250133d833a 127.0.0.1:6379 myself,master - 0 0 2 connected 0-5461
0d50552bab86a522937a7943f0843d86945e2894 127.0.0.1:6380 master - 0 1494155311864 1 connected 5462-10922
d0de26e8ec68996f404091e729688b41c5068231 127.0.0.1:6382 master - 0 1494155307847 5 connected
e3b11cd3ec0e4d6f67d010dd9cf2a3dabf6030f9 127.0.0.1:6384 master - 0 1494155313883 0 connected

1.7简单测试

[root@VM_41_201_centos redis.d]# redis-cli -p 6379 set hello redis
OK
[root@VM_41_201_centos redis.d]# redis-cli -p 6379 get hello
"redis"
[root@VM_41_201_centos redis.d]#

至此，模拟的3主3从的cluster集群就创建成功了。

redis实例配置文件关于cluster的主要配置项：

#节点端口
port 6379
# 开启集群模式
cluster-enabled yes
# 节点超时时间, 单位毫秒
cluster-node-timeout 15000
# 集群内部配置文件
cluster-config-file "nodes-6379.conf"

addslots.sh：

#!/bin/bash
# cluster addslots(循环添加)
# $1:port
# $2:start
# $3:end
for((i=$2;i<=$3;i++))
do
        redis-cli -h 127.0.0.1 -p $1 cluster addslots $i
done

2.集群伸缩

Redis集群提供了灵活的节点扩容和收缩方案，在不影响集群对外提供服务的情况下可以为集群添加节点进行扩容，也可以下线部分节点进行缩容。

3.请求路由

在Redis Cluster集群模式下，Redis接收任何键相关命令时首先计算键对应的槽，再根据槽找出所对应的节点，如果节点是自身，则处理键命令；否则回复MOVED重定向错误，通知客户端请求正确的节点。

使用redis-cli命令时，可以加入-c参数支持自动重定向，简化手动发起重定向操作。redis-cli自动帮我们连接到正确的节点执行命令，这个过程是在redis-cli内部维护，实质上是client端接到MOVED信息之后再次发起请求，并不在Redis节点中完成请求转发。

大多数开发语言的Redis客户端都采用Smart客户端支持集群协议。Smart客户端通过在内部维护slot→node的映射关系，本地就可实现键到节点的查找，从而保证IO效率的最大化，而MOVED重定向负责协助Smart客户端更新slot→node映射。

进阶文章：唯品会Redis cluster大规模生产实践经验