codis 小结 ( 部署）

一。名词解释：

Codis Server：基于 redis-3.2.8 分支开发。增加了额外的数据结构，以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档redis 的修改。

Codis Proxy：客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外，表现的和原生的 Redis 没有区别（就像 Twemproxy）。对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

Codis Dashboard：集群管理工具，支持 codis-proxy、codis-server 的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。对于同一个业务集群而言，同一个时刻 codis-dashboard 只能有 0个或者1个；(单点？）所有对集群的修改都必须通过 codis-dashboard 完成。

Codis Admin：集群管理的命令行工具。可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

Codis FE：集群管理界面。多个集群实例共享可以共享同一个前端展示页面；通过配置文件管理后端 codis-dashboard 列表，配置文件可自动更新。

Storage：为集群状态提供外部存储。提供 Namespace 概念，不同集群的会按照不同 product name 进行组织；目前仅提供了 Zookeeper、Etcd、Fs 三种实现，但是提供了抽象的 interface 可自行扩展。

安装包下载

#go： wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

#zookeeper： wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz

#codis： git clone https://github.com/CodisLabs/codis.git -b release3.2

一。 codis 部署

1：解压：

tar -xf zookeeper-3.4.12.tar.gz

mv zookeeper-3.4.12 /usr/local/zookeeper

2：编辑配置文件：

cd /usr/local/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

配置文件(zoo.cfg)见下面，对比单机模式多了server.ID

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/data/zookeeper/data

dataLogDir=/data/zookeeper/log

clientPort=2181

#要是一台装三个zk，可以按照端口区分：192.168.163.131:2887:3887/192.168.163.132:2887:3887/192.168.163.133:2887:3887

server.1=192.168.163.131:2888:3888

server.2=192.168.163.132:2888:3888

server.3=192.168.163.133:2888:3888

注意：2888表示zookeeper监听端口，3888表示zookeeper选举通信端口；以上server.1 server.2 server.3都要配置到三台zookeeper的zoo.cfg文件。

配置说明：

集群模式中, 集群中的每台机器都需要感知其它机器, 在 zoo.cfg 配置文件中, 可以按照如下格式进行配置, 每一行代表一台服务器配置:server.id=host:port:port

id 被称为 Server ID, 用来标识服务器在集群中的序号。同时每台 ZooKeeper 服务器上, 都需要在数据目录(即 dataDir 指定的目录) 下创建一个 myid 文件, 该文件只有一行内容, 即对应于每台服务器的Server ID。

ZooKeeper 集群中, 每台服务器上的 zoo.cfg 配置文件内容一致。

server.1 的 myid 文件内容就是 "1"。每个服务器的 myid 内容都不同, 且需要保证和自己的 zoo.cfg 配置文件中 "server.id=host:port:port" 的 id 值一致。

id 的范围是 1 ~ 255。

创建myid文件：设置zookeeper的id，和server.ID对应。

在 dataDir 指定的目录下 (即 /data/zookeeper/data 目录) 创建名为 myid 的文件, 文件内容和 zoo.cfg 中当前机器的 id 一致。根据上述配置, master 的 myid 文件内容为 1。

按照相同步骤, 为 132 和 133 配置 zoo.cfg 和 myid 文件。zoo.cfg文件内容相同, 132 的 myid 文件内容为 2, 133 的 myid 文件内容为 3。

#在第1台zookeeper（192.168.163.131）上设置id=1

echo "1" >/data/zookeeper/data/myid

#在第2台zookeeper（192.168.163.132）上设置id=2

echo "2" >/data/zookeeper/data/myid

#在第3台zookeeper（192.168.163.133）上设置id=3

echo "3" >/data/zookeeper/data/myid

三台启动：zkServer.sh start

# zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

zkServer.sh status

root@test1:~# zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: leader

root@test2:~# zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

root@test3:~# zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

关闭：zkServer.sh stop

root@test2:~#zkServer.sh stop

ZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Stopping zookeeper ... STOPPED

到此Zookeeper安装完毕。

新建codis-server（redis）：三台上都安装

cp/usr/local/codis/extern/redis-3.2.11/redis.conf /etc/codis/codis-server/redis7021.conf

修改redis7021.conf：

# bind 127.0.0.1

protected-mode no

port 7021

daemonize yes

pidfile /var/lib/redis_7021/redis_7021.pid

logfile "/var/lib/redis_7021/redis_7021.log"

dbfilename 7021dump.rdb

dir /var/lib/redis_7021/

appendfilename  "7021appendonly.aof"

创建配置文件里所需的目录：

mkdir/var/lib/redis_7021

再新建一个codis-server：

cd /etc/codis/codis-server

cp redis7021.conf redis7022.conf 

sed-i"s/7021/7022/g" redis7022.conf mkdir/var/lib/redis_7022

开启codis-server：

codis-server /etc/codis/codis-server/redis7021.conf

codis-server /etc/codis/codis-server/redis7022.conf

说明：每台机器上有2个codis-server实例，端口为：7021、7022，没有做主从。为了防止单点的问题，可以交错的设置主从，防止一台服务器挂掉，codis-server不可用。如下表格所示：

Group      主                                                  从

1            192.168.163.131:7021                    192.168.163.132:7022

2            192.168.163.132:7021                    192.168.163.133:7022

3            192.168.163.133:7021                    192.168.163.131:7022

通过codis-fe  添加各个Group节点：需要先开启 codis-dashboard 和 codis-fe，在 ⑤ 之后操作。

③ 配置codis-dashboard（一台）

cd /etc/codis/codis-dashboard/ 

cp/usr/local/codis/config/dashboard.toml  /etc/codis/codis-dashboard/

修改配置：vim /etc/codis/codis-dashboard/dashboard.toml

##################################################

#                                                #

#                  Codis-Dashboard              #

#                                                #

##################################################

# Set Coordinator, only accept "zookeeper"&"etcd"&"filesystem".

# forzookeeper/etcd, coorinator_auth accept"user:password"

# Quick Start

#coordinator_name ="filesystem"

#coordinator_addr ="/tmp/codis"

coordinator_name ="zookeeper"

coordinator_addr ="192.168.163.131:2181,192.168.163.132:2181,192.168.163.133:2181"  

#zk地址，多个逗号隔开

#coordinator_auth =""

# Set Codis Product Name/Auth.

product_name ="codis-testX" 

#集群名称product_auth =""      #集群密码

# Set bind address foradmin(rpc), tcp only.

admin_addr ="192.168.163.131:18080"         #restful api地址

# Set arguments fordata migration (only accept'sync'&'semi-async').

migration_method ="semi-async"

migration_parallel_slots =100

migration_async_maxbulks =200

migration_async_maxbytes ="32mb"

migration_async_numkeys =500

migration_timeout ="30s"

# Set configs for redis sentinel.

sentinel_client_timeout ="10s"

sentinel_quorum =2

sentinel_parallel_syncs =1

sentinel_down_after ="30s"

sentinel_failover_timeout ="5m"

sentinel_notification_script =""

sentinel_client_reconfig_script =""

参数说明：

coordinator_name外部存储类型，接受 zookeeper/etcd

coordinator_addr外部存储地址

product_name集群名称，满足正则\w[\w\.\-]*

product_auth集群密码，默认为空

admin_addrRESTful API 端口

创建codis日志目录（存放codis所有log）：

mkdir/usr/local/codis/logs

启动codis-dashboard服务：（一台）

codis-dashboard --ncpu=1--config=/etc/codis/codis-dashboard/dashboard.toml --log=/usr/local/codis/logs/dashboard.log --log-level=warn &

参数说明：##--ncpu=N 最大使用 CPU 个数;

## -c  CONF, --config=CONF 指定启动配置文件;

## -l  FILE, --log=FILE 设置 log 输出文件;

##--log-level=LEVEL 设置 log 输出等级：INFO,WARN,DEBUG,ERROR；默认INFO，推荐WARN;

##对于同一个业务集群而言，可以同时部署多个codis-proxy 实例;

##不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

关闭codis-dashboard服务：

codis-admin --dashboard=192.168.163.131:18080--shutdown

④：配置codis-proxy（三台）：每台配置一个Proxy，也可以一台配置多个Proxy。

注意参数：proxy_max_clients

cd /etc/codis/codis-proxy/cp/usr/local/codis/config/proxy.toml /etc/codis/codis-proxy/

修改配置：vim /etc/codis/codis-proxy/proxy.toml

##################################################

#                                                #

#                  Codis-Proxy                  #

#                                                #

##################################################

# Set Codis Product Name/Auth.

product_name ="codis-testX"           #和dashboard对应

product_auth =""

# Set auth for client session

#  1. product_auth is usedforauth validation among codis-dashboard,

#      codis-proxy and codis-server.

#  2. session_auth is different from product_auth, it requires clients

#      to issue AUTH before processing any other commands.

session_auth =""

# Set bind address foradmin(rpc), tcp only.

admin_addr ="192.168.163.131:11080"          #同一台服务器可以根据端口创建多个Proxy

# Set bind address forproxy, proto_type can be"tcp","tcp4","tcp6","unix"or"unixpacket".

proto_type ="tcp4"

proxy_addr ="192.168.163.131:19000"           #同一台服务器可以根据端口创建多个Proxy

# Set jodis address & session timeout

#  1. jodis_name isshortforjodis_coordinator_name, only accept"zookeeper"&"etcd".

#  2. jodis_addr isshortfor jodis_coordinator_addr

#  3. jodis_auth isshortforjodis_coordinator_auth,forzookeeper/etcd,"user:password" is accepted.

#  4. proxy will be registered as node:

#        ifjodis_compatible =true (not suggested):

#          /zk/codis/db_{PRODUCT_NAME}/proxy-{HASHID} (compatible with Codis2.0)

#        or else#          /jodis/{PRODUCT_NAME}/proxy-{HASHID}

jodis_name ="zookeeper"

jodis_addr="192.168.163.131:2181,192.168.163.132:2181,192.168.163.133:2181"

jodis_auth =""

jodis_timeout ="20s"

jodis_compatible =false...

...

参数                                         说明：

product_name                          集群名称，参考 dashboard 参数说明

product_auth                            集群密码，默认为空

admin_addr                              RESTful API 端口

proto_typeRedis                       端口类型，接受 tcp/tcp4/tcp6/unix/unixpacket

proxy_addrRedis                       端口地址或者路径

jodis_addr                                  Jodis 注册 zookeeper 地址

jodis_timeoutJodis                      注册 session timeout 时间，单位 second

jodis_compatibleJodis                 注册 zookeeper 的路径

backend_ping_period                   与 codis-server 探活周期，单位 second，0 表示禁止

session_max_timeout与 client       连接最大读超时，单位 second，0 表示禁止

session_max_bufsize与 client         连接读写缓冲区大小，单位 byte

session_max_pipeline与 client         连接最大的 pipeline 大小

session_keepalive_period                 与 client 的 tcp keepalive 周期，仅 tcp 有效，0 表示禁止

启动codis-proxy服务（三台）：

codis-proxy --ncpu=1--config=/etc/codis/codis-proxy/proxy.toml --log=/usr/local/codis/logs/proxy.log --log-level=warn &

codis-proxy 启动后，处于waitingonline 状态(日志查询)，监听proxy_addr地址，但是不会accept连接，添加到集群并完成集群状态的同步，才能改变状态为online。添加的方法有以下两种：

通过 codis-fe 添加：通过Add Proxy按钮，将admin_addr加入到集群中；⑤之后。

通过 codis-admin 命令行工具添加，方法如下：

codis-admin --dashboard=192.168.163.131:18080 --create-proxy -x 192.168.163.131:11080

其中192.168.163.131:18080以及192.168.163.131:11080分别为 dashboard 和 proxy 的admin_addr地址；可以在后面的codis-fe里看到

添加过程中，dashboard 会完成如下一系列动作：

获取 proxy 信息，对集群 name 以及 auth 进行验证，并将其信息写入到外部存储中（zookeeper）；

同步 slots 状态；

标记 proxy 状态为online，此后 proxy 开始accept连接并开始提供服务；

停止codis-proxy服务：

codis-admin --proxy=192.168.163.131:11080 --shutdown

注意：直接kill Proxy进程zk的codis3里会有残留数据，建议codis-admin方式停codis-proxy服务 

⑤：配置codis-fe（一台）

配置文件 codis.json 可以手动编辑，也可以通过 codis-admin 从外部存储中拉取：

cd /etc/codis/codis-fe/

codis-admin --dashboard-list --zookeeper=192.168.163.131:2181 | teecodis.json

启动codis-fe：

codis-fe --ncpu=1--dashboard-list=/etc/codis/codis-fe/codis.json --listen=192.168.163.131:18090--log=/usr/local/codis/logs/fe.log --log-level=warn --assets-dir=/usr/local/codis/bin/assets/ &

关闭codis-fe：

ps-ef | grep codis-fe| grep-v grep| awk'{print $2}'| xargs   kill