docker redis+cluster集群搭建

在我的docker安装redis里，已经说明过docker安装redis的流程，对于redis的安装下面文章很多部份会简写，看不懂的朋友请看我的docker安装redis说明

1：下载docker redis

docker pull redis:4.0   （注意，要下载4.0及以上版本，小于4.0版本的redis集群这种方式不可用）

2：下载ruby  (redis的集群管理使用它)

docker pull ruby

3：创建虚拟网卡

docker network create redis-net

查看网卡信息

docker network ls

查看redis-net虚拟网卡网关ip

docker network inspect redis-net | grep "Gateway" | grep --color=auto -P '(\d{1,3}.){3}\d{1,3}' -o

网卡的网关是：172.18.0.1

3：创建配置文件

mkdir -p /docker/redis/{7000,7001,7002,7003,7004,7005}

redis.conf配置文件内容：

port 7000       ##节点端口

cluster-enabled yes           ##cluster集群模式

cluster-config-file nodes.conf      ##集群配置名

cluster-node-timeout 5000          ##超时时间 

cluster-announce-ip 172.18.0.1      ##实际为各节点网卡分配ip  先用上网关ip代替

cluster-announce-port 7000       ##节点映射端口

cluster-announce-bus-port 17000  ##节点总线端

appendonly yes                      ##持久化模式

protected-mode no

在每个文件夹下都建立data和redis.conf配置文件起名为redis7000.conf、redis7001.conf、redis7002.conf、redis7003.conf、redis7004.conf、redis7005.conf

4：启动redis

docker run -p 7000:7000 -p 17000:17000 --restart always --name redis-7000 --net redis-net --privileged=true -v /docker/redis/7000/redis7000.conf:/etc/redis/redis.conf -v /docker/redis/7000/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7001:7001 -p 17001:17001 --restart always --name redis-7001 --net redis-net --privileged=true -v /docker/redis/7001/redis7001.conf:/etc/redis/redis.conf -v /docker/redis/7001/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7002:7002 -p 17002:17002 --restart always --name redis-7002 --net redis-net --privileged=true -v /docker/redis/7002/redis7002.conf:/etc/redis/redis.conf -v /docker/redis/7002/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7003:7003 -p 17003:17003 --restart always --name redis-7003 --net redis-net --privileged=true -v /docker/redis/7003/redis7003.conf:/etc/redis/redis.conf -v /docker/redis/7003/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7004:7004 -p 17004:17004 --restart always --name redis-7004 --net redis-net --privileged=true -v /docker/redis/7004/redis7004.conf:/etc/redis/redis.conf -v /docker/redis/7004/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7005:7005 -p 17005:17005 --restart always --name redis-7005 --net redis-net --privileged=true -v /docker/redis/7005/redis7005.conf:/etc/redis/redis.conf -v /docker/redis/7005/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

5：查看容器分配ip

docker network inspect redis-net

如果redis.conf配置里的地址和network里显示的地址不对应，我们需要手动修改下地址，让redis的地址和network对应。我的redis.conf文件和network显示的地址都是一一对应的

6：创建一个ruby镜像

写Dockerfile文件

FROM ruby:latest    #上面我下来的ruby

MAINTAINER sunlin<sunlin1111@163.com>

RUN gem install redis

RUN mkdir /redis

WORKDIR /redis

ADD ./redis-trib.rb /redis/redis-trib.rb 

RUN gem install redis  这个是可以指定版本的 可以gem install redis -v 4.0.0 这样写。  我没指定，用的系统最新的

ADD ./redis-trib.rb /redis/redis-trib.rb 其中redis-trib.rb我是在https://github.com/antirez/redis/releases/tag/4.0.0下载的4.0.0版本

7：运行生成ruby自定义镜像

docker build -t redis-trib .

8：运行ruby

echo yes | docker run -i --rm --net redis-net redis-trib ruby redis-trib.rb create --replicas 1 172.18.0.2:7000 172.18.0.3:7001 172.18.0.4:7002 172.18.0.5:7003 172.18.0.6:7004 172.18.0.7:7005

9：检验下集群是否正常运行

进入7000容器

docker exec -it redis-7000 /bin/sh

进入redis客户端

redis-cli -p 7000 -c

set sunl test 

可以看到数据正常创建成功，也保存到7002上

docker redis实例运行在不同的宿主机上实现集群

1：我准备在192.168.155.55虚拟机上启动7000，7001，7004 redis，在192.168.155.56虚拟机上启动7002，7003，7005 redis

2：修改redis.conf文件,修改6份

port 7000

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

appendonly yes

protected-mode no

3：网卡用docker自带的host

docker network ls

在192.168.155.55上启动redis

docker run -p 7000:7000 -p 17000:17000 --restart always --name redis-7000 --net host -v /docker/redis/7000/redis7000.conf:/etc/redis/redis.conf -v /docker/redis/7000/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7003:7003 -p 17003:17003 --restart always --name redis-7003 --net host -v /docker/redis/7003/redis7003.conf:/etc/redis/redis.conf -v /docker/redis/7003/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7004:7004 -p 17004:17004 --restart always --name redis-7004 --net host -v /docker/redis/7004/redis7004.conf:/etc/redis/redis.conf -v /docker/redis/7004/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

在192.168.155.56上启动redis

docker run -p 7001:7001 -p 17001:17001 --restart always --name redis-7001 --net host -v /docker/redis/7001/redis7001.conf:/etc/redis/redis.conf -v /docker/redis/7001/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7002:7002 -p 17002:17002 --restart always --name redis-7002 --net host -v /docker/redis/7002/redis7002.conf:/etc/redis/redis.conf -v /docker/redis/7002/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

docker run -p 7005:7005 -p 17005:17005 --restart always --name redis-7005 --net host -v /docker/redis/7005/redis7005.conf:/etc/redis/redis.conf -v /docker/redis/7005/data:/data -d redis:4.0 redis-server /etc/redis/redis.conf

注意：我先建立的是单虚拟机上跑6个redis容器，启动后data文件夹数据已经写入了，再建立多虚拟机跑redis的时候，需要先把data文件夹清空

4：启动完redis容器后，看下网络情况

192.168.155.55  虚拟机

docker network inspect host

192.168.155.56  虚拟机

5：启动ruby

echo yes | docker run -i --rm --net host redis-trib ruby redis-trib.rb create --replicas 1 192.168.155.55:7000 192.168.155.56:7001 192.168.155.56:7002 192.168.155.55:7003 192.168.155.55:7004 192.168.155.56:7005

6：测试集群环境是否运行正常

进入容器

docker exec -it redis-7000 /bin/sh

进入客户端

redis-cli -p 7000 -c

可以看到在7000上建立了一个key=suntest value=1234,在7001上可以得到1234，说明集群运行正常

-----------------------集群搭建遇到的一些坑，总结下小伙伴请注意------------------------------------------

1：在运行ruby的时候，一直报错>>> Creating cluster [ERR] Sorry, can't connect to node

这个问题网上有很多解释，其实按照我上面的配置不会出现，说是设置密码的，我没设置，说是版本不对的，我的版本都没问题。

最后发现是网上给的运行ruby命令有问题，一般有两种写法：

第一种：echo yes | docker run -i --rm --net redis-net ruby sh -c 'gem install redis && wget http://download.redis.io/redis-stable/src/redis-trib.rb && ruby redis-trib.rb create --replicas 1 '"$(for port in `seq 7000 7005`; do echo -n "$(docker inspect --format '{{ (index .NetworkSettings.Networks "redis-net").IPAddress }}' "redis-${port}")":${port} ' ' ; done)"

第二种：echo yes | docker run -i --rm --net redis-net redis-trib ruby redis-trib.rb create --replicas 1 "$(for port in `seq 7000 7005`; do echo -n "$(docker inspect --format '{{ (index .NetworkSettings.Networks "redis-net").IPAddress }}' "redis-${port}")":${port} ' ' ; done)"

这两种都是sh脚本这块有问题，我没发现问题在哪里，我们还是老实点，一步一步来吧。

2：当时我用第一种写法运行ruby的时候，先是报了个ruby create命令找不到的错误，这是因为wget http://download.redis.io/redis-stable/src/redis-trib.rb && ruby redis-trib.rb下来的redis-trib.rb版本和我用的redis4.0不一样造成的，要把版本统一下

3：redis.conf文件中一定要加上protected-mode no这句，很多网上的文章没有加，因为版本的不同有时会出现问题，protected-mode的解释网上很多文章都有。

4：用springboot链接redis集群，application.yml的配置文件写法：

spring.redis.database=0

spring.redis.cluster.nodes=192.168.155.55:7000,192.168.155.55:7001,192.168.155.55:7004,192.168.155.56:7002,192.168.155.56:7003,192.168.155.56:7005

spring.redis.pool.max-active=8

spring.redis.pool.max-wait=-1

spring.redis.pool.max-idle=8

spring.redis.pool.min-idle=0

spring.redis.timeout=0