一、为什么要使用redis cluster集群
1.主从复制不能实现高可用
2.随着公司发展，用户数量增多，并发越来越多，业务需要更高的QPS，而主从复制中单机的QPS可能无法满足业务需求
3.数据量的考虑，现有服务器内存不能满足业务数据的需要时，单纯向服务器添加内存不能达到要求，此时需要考虑分布式需求，把数据分布到不同服务器上
4.网络流量需求：业务的流量已经超过服务器的网卡的上限值，可以考虑使用分布式来进行分流
5.离线计算，需要中间环节缓冲等别的需求
二、什么数据分布式
通俗易懂就是将不同信息根据规则，存放在到不同的地方。
我们常见的数据分布式有 顺序分布、节点取余分布、一致性哈希分布、
顺序分布
比如：1到100个数字，要保存在3个节点上，按照顺序分区，把数据平均分配三个节点上
1号到33号数据保存到节点1上，34号到66号数据保存到节点2上，67号到100号数据保存到节点3上
image.png
节点取余分布
比如有100个数据，对每个数据进行hash运算之后，与节点数进行取余运算，根据余数不同保存在不同的节点上
image.png
致性哈希分区
一致性哈希原理：
将所有的数据当做一个token环，token环中的数据范围是0到2的32次方。然后为每一个数据节点分配一个token范围值，这个节点就负责保存这个范围内的数据。
image.png
三、redis cluster的基本架构
节点
Redis Cluster是分布式架构：即Redis Cluster中有多个节点，每个节点都负责进行数据读写操作，每个节点之间会进行通信。
meet操作
meet操作是节点之间完成相互通信的基础，meet操作有一定的频率和规则
image.png
分配槽
把16384个槽平均分配给节点进行管理，每个节点只能对自己负责的槽进行读写操作。
由于每个节点之间都彼此通信，每个节点都知道另外节点负责管理的槽范围
image.png
复制
保证高可用，每个主节点都有一个从节点，当主节点故障，Cluster会按照规则实现主备的高可用性
restart cluster存放数据
1.把16384槽按照节点数量进行平均分配，由节点进行管理
2.对每个key按照CRC16规则进行hash运算
3.把hash结果对16383进行取余
4.把余数发送给Redis节点
5.节点接收到数据，验证是否在自己管理的槽编号的范围
如果在自己管理的槽编号范围内，则把数据保存到数据槽中，然后返回执行结果
如果在自己管理的槽编号范围外，则会把数据发送给正确的节点，由正确的节点来把数据保存在对应的槽中
四、redis cluster部署
准备环境：两台centos 7的服务器
redis1 192.168.1.91(安装redis-4.0.9)
redis2 192.168.1.92(安装redis-4.0.9)
1、安装redis 两台服务器都执行
[root@redis1]$ yum -y install gcc make
[root@redis1]$ tar xzf redis-4.0.9.tar.gz
[root@redis1 ]$ cd redis-4.0.9/
[root@redis1 redis-4.0.9]$ make && make install
2、创建redis节点
首先在 192.168.1.91 服务器上 /root/redis-4.0.9 目录下创建 redis_cluster 目录；
[root@redis1 redis-4.0.9]$ mkdir redis_cluster
在 redis_cluster 目录下，创建名为7000、7001、7002的目录，并将 redis.conf 拷贝到这三个目录中
[root@redis1 redis-4.0.9]$ cd redis_cluster/
[root@redis1 redis_cluster]$ mkdir 7001 7002 7003
[root@redis1 redis_cluster]$ cd ..
[root@redis1 redis-4.0.9]$ cp redis.conf redis_cluster/7001/
[root@redis1 redis-4.0.9]$ cp redis.conf redis_cluster/7002/
[root@redis1 redis-4.0.9]$ cp redis.conf redis_cluster/7003/
修改redis_cluster中的三个配置文件，修改如下内容
port 7000 //端口7000,7002,7003
bind 0.0.0.0 //默认ip为127.0.0.1 需要改为其他节点机器可访问的ip 否则创建集群时无法访问对应的端口，无法创建集群.这里直接0.0.0.0
daemonize yes //redis后台运行
pidfile /var/run/redis_7001.pid //pidfile文件对应7000,7001,7002
logfile "/var/log/redis7001.log" //日志的存放路径
cluster-enabled yes //开启集群 把注释#去掉
cluster-config-file nodes_7001.conf //集群的配置 配置文件首次启动自动生成 7001,7002,7003
cluster-node-timeout 15000 //请求超时 默认15秒，可自行设置
appendonly yes //aof日志开启 有需要就开启，它会每次写操作都记录一条日志
3、启动各个节点
[root@redis1 redis-4.0.9]$ src/redis-server redis_cluster/7001/redis.conf
[root@redis1 redis-4.0.9]$ src/redis-server redis_cluster/7002/redis.conf
[root@redis1 redis-4.0.9]$ src/redis-server redis_cluster/7003/redis.conf
4、检查 redis 启动情况
[root@redis1 redis-4.0.9]$ ss -lntp |grep redis
LISTEN 0 128 *:7001 *:* users:(("redis-server",pid=14261,fd=6))
LISTEN 0 128 *:7002 *:* users:(("redis-server",pid=14266,fd=6))
LISTEN 0 128 *:7003 *:* users:(("redis-server",pid=14271,fd=6))
LISTEN 0 128 *:17001 *:* users:(("redis-server",pid=14261,fd=9))
LISTEN 0 128 *:17002 *:* users:(("redis-server",pid=14266,fd=9))
LISTEN 0 128 *:17003 *:* users:(("redis-server",pid=14271,fd=9))
[root@redis1 redis-4.0.9]$ ps aux |grep redis
root 14251 0.0 0.5 147360 9656 ? Ssl 22:46 0:02 src/redis-server 0.0.0.0:7001 [cluster]
root 14256 0.0 0.5 147360 9652 ? Ssl 22:46 0:02 src/redis-server 0.0.0.0:7002 [cluster]
root 14261 0.0 0.5 147360 9652 ? Ssl 22:46 0:02 src/redis-server 0.0.0.0:7003 [cluster]
root 14295 0.0 0.0 112712 964 pts/0 S+ 23:33 0:00 grep --color=auto redis
在另外一台一台服务器做出相同的操作，端口为7004、7005、7006
5、创建集群
Redis 官方提供了 redis-trib.rb 这个工具，就在解压目录的 src 目录中，需要将它复制到 /usr/local/bin 目录中，然后就可以直接在命令行中使用了。使用下面这个命令即可完成安装。
[root@redis1 redis-4.0.9]$ cp src/redis-trib.rb /usr/local/bin/
在创建集群之前需要下载ruby
[root@redis1 ~]$ yum makecache fast
[root@redis1 ~]$ yum -y install ruby ruby-devel rubygems rpm-build #yum安装的rubygems的版本是2.0.0
[root@redis1 ~]$ gem sources --remove http://rubygems.org #删除rubygems系统自带的源
[root@redis1 ~]$ gem sources -a http://mirrors.aliyun.com/rubygems/ #安装aliyun的源
[root@redis1 ~]$ gem install redis -v 3.3.5
我试过了执行gem install redis 后面一定要加版本。也只能下3.3.5和之前的版本(但是3.3.4不行，因为我看了官方文档，3.3.4已经被遗弃)。后面的版本下了也没用。因为我们下载的rubygems是2.0.0版本的。之后版本至少要rubygems2.2.2。
执行创建集群命令
[root@redis1 ~]$ redis-trib.rb create --replicas 1 192.168.1.91:7001 192.168.1.91:7002 192.168.1.91:7003 192.168.1.92:7004 192.168.1.92:7005 192.168.1.92:7006
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.1.91:7001
192.168.1.92:7004
192.168.1.91:7002
Adding replica 192.168.1.92:7006 to 192.168.1.91:7001
Adding replica 192.168.1.91:7003 to 192.168.1.92:7004
Adding replica 192.168.1.92:7005 to 192.168.1.91:7002
M: cf11cf78ff2198b3aff78edfbb0238bf8c811cf2 192.168.1.91:7001
slots:0-5460 (5461 slots) master
M: c9d332c7f05e36f956b815e390feab01ba3847e6 192.168.1.91:7002
slots:10923-16383 (5461 slots) master
S: 2fbbc8d39be0efac0004f88506d3944ef444e838 192.168.1.91:7003
replicates ca5f1252a7e34c9d9402a57aa5bfba3a85c26c98
M: ca5f1252a7e34c9d9402a57aa5bfba3a85c26c98 192.168.1.92:7004
slots:5461-10922 (5462 slots) master
S: 6af8a54987cb3e1960accb9e76cf2430df38ad4f 192.168.1.92:7005
replicates c9d332c7f05e36f956b815e390feab01ba3847e6
S: 1eba53a0b423841f250c489ee54de63c1c7336a3 192.168.1.92:7006
replicates cf11cf78ff2198b3aff78edfbb0238bf8c811cf2
Can I set the above configuration? (type 'yes' to accept):
输入yes
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join.....
>>> Performing Cluster Check (using node 192.168.1.91:7001)
M: cf11cf78ff2198b3aff78edfbb0238bf8c811cf2 192.168.1.91:7001
slots:0-5460 (5461 slots) master
1 additional replica(s)
S: 1eba53a0b423841f250c489ee54de63c1c7336a3 192.168.1.92:7006
slots: (0 slots) slave
replicates cf11cf78ff2198b3aff78edfbb0238bf8c811cf2
S: 2fbbc8d39be0efac0004f88506d3944ef444e838 192.168.1.91:7003
slots: (0 slots) slave
replicates ca5f1252a7e34c9d9402a57aa5bfba3a85c26c98
S: 6af8a54987cb3e1960accb9e76cf2430df38ad4f 192.168.1.92:7005
slots: (0 slots) slave
replicates c9d332c7f05e36f956b815e390feab01ba3847e6
M: ca5f1252a7e34c9d9402a57aa5bfba3a85c26c98 192.168.1.92:7004
slots:5461-10922 (5462 slots) master
1 additional replica(s)
M: c9d332c7f05e36f956b815e390feab01ba3847e6 192.168.1.91:7002
slots:10923-16383 (5461 slots) master
1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
redis-trib.rb其实就是一个redis自带的脚本，它可以帮你自动挑选master和对应的slave，还会自动帮你分配槽位。(随机)
网友评论