美文网首页
详解Codis安装与部署

详解Codis安装与部署

作者: 问题_解决_分享_讨论_最优 | 来源:发表于2020-01-19 12:33 被阅读0次

    简介

    Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.

    • Codis Proxy (codis-proxy)
    • Codis Manager (codis-config)
    • Codis Redis (codis-server)
    • ZooKeeper

    codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.

    codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.

    codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.13 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.

    Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.

    Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突.

    Codis架构图

    详解Codis安装与部署

    v特性

    • 自动平衡
    • 使用非常简单
    • 图形化的面板和管理工具
    • 支持绝大多数 Redis 命令，完全兼容twemproxy
    • 支持 Redis 原生客户端
    • 安全而且透明的数据移植，可根据需要轻松添加和删除节点
    • 提供命令行接口
    • RESTful APIs

    v安装步骤

    1.1 安装Go

    1.1.1 下载Go压缩包

    习惯系在最新的环境，目前最新版的go是1.12.5的，这里我们就用最新版的。最新版更新可以在这里看。https://golang.org/dl/

    wget https://storage.googleapis.com/golang/go1.12.5.linux-amd64.tar.gz

    1.1.2 解压Go压缩包

    tar -zxvf go1.12.5.linux-amd64.tar.gz

    1.1.3 设置环境变量

    详解Codis安装与部署

    如图，go的安装目录是 /usr/local

    vim /etc/profile

    详解Codis安装与部署 
    export GOROOT=/usr/local/go   #设置为go安装的路径
export GOPATH=/usr/local/gopath  #默认安装包的路径
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

    更新/etc/profile, wq保存，使用source /etc/profile命令可以使新建立的环境变量立刻生效而不用重新启动系统。

    详解Codis安装与部署

    1.1.4 helloword go go go

    新建一个go文件，然后运行。

    详解Codis安装与部署 
    package main
    import "fmt"

    func main(){
        fmt.Printf("hello,world\n")
 }

    1.2 安装JDK

    没有安装Java JDK的朋友可以直接看这里。《CentOS安装Java JDK》

    1.3 安装ZooKeeper

    1.3.1 下载ZooKeeper压缩包

    wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

    1.3.2 解压ZooKeeper压缩包

    tar -zxvf zookeeper-3.4.13.tar.gz

    1.3.3 删除ZooKeeper压缩包

    rm -f zookeeper-3.4.13.tar.gz

    1.3.4 拷贝配置文件

    cd /usr/local/zookeeper-3.4.13/conf

    cp zoo_sample.cfg zoo.cfg

    vim zoo.cfg

    详解Codis安装与部署

    这个zoo.cfg是zookeeper的配置文件，这里我搭的是单机版，如果想搭集群版也是通过修改配置文件即可。

    # The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper-3.4.13/data    #这里最好自己设置
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=cnblogs01:8888:9888         #这里修改为自己的主机名或者IP
server.2=cnblogs02:8888:9888
server.3=cnblogs03:8888:9888

    创建/usr/local/zookeeper-3.4.13/data文件夹，新建一个myid,写入1

    mkdir data

    vim myid

    1.3.5 启动ZooKeeper

    /usr/local/zookeeper-3.4.13/bin/zkServer.sh start

    详解Codis安装与部署

    1.4 安装Codis

    1.4.1 安装Codis

    Codis 源代码需要下载到 $GOPATH/src/github.com/CodisLabs/codis

    mkdir -p $GOPATH/src/github.com/CodisLabs

    cd $_ && git clone https://github.com/CodisLabs/codis.git -b release3.2

    1.4.2 编译Codis

    cd $GOPATH/src/github.com/CodisLabs/codis

    make

    直接通过 make 进行编译,这里报了个错./autogen.sh:行5: autoconf: 未找到命令

    详解Codis安装与部署

    安装autoconf

    yum install autoconf

    安装autoconf之后，继续通过make编译。

    详解Codis安装与部署

    dashboard,proxy,admin,ha,fe这些codis的组件编译完成了。

    注意的是，目录结构一定要是,gopath的自己的定义，单后后面的目录需要新建，必须和官网一样，不一样，要报错。 $GOPATH/src/github.com/CodisLabs/

    1.4.3 启动codis-dashboard

    使用 codis-dashboard-admin.sh脚本启动 dashboard，并查看 dashboard 日志确认启动是否有异常。

    ./admin/codis-dashboard-admin.sh start

    tail -100 ./log/codis-dashboard.log.2019-05-26注意：2019-05-26为当前日期。

    详解Codis安装与部署 详解Codis安装与部署

    1.4.3 启动codis-proxy

    使用 codis-proxy-admin.sh脚本启动 codis-proxy，并查看 proxy 日志确认启动是否有异常。

    ./admin/codis-proxy-admin.sh start

    tail -100 ./log/codis-proxy.log.2019-05-26

    详解Codis安装与部署

    1.4.4 启动codis-server

    使用 codis-server-admin.sh脚本启动 codis-server，并查看 redis 日志确认启动是否有异常。

    ./admin/codis-server-admin.sh start

    tail -100 /tmp/redis_6379.log

    查看日志如下图所示，启动codis时报错提示：

    21875:M 26 May 20:51:24.154 * Increased maximum number of open files to 10032 (it was originally set to 1024).
21875:M 26 May 20:51:24.154 # Creating Server TCP listening socket 127.0.0.1:6379: bind: Address already in use
    详解Codis安装与部署

    因为Redis默认端口号就是6379，由于之前(centos安装Redis)设置了本机默认开机启动Redis，所以6379已被占用。

    解决方案

    如下图所示，修改/usr/local/gopath/src/github.com/CodisLabs/codis/config/redis.conf配置文件的端口号。改为6380

    详解Codis安装与部署 详解Codis安装与部署

    修改端口号以后再通过./admin/codis-server-admin.sh start启动codis-server。

    tail -100 /tmp/redis_6379.log查看日志如下：

    详解Codis安装与部署

    注意：如果redis.conf中对应的logfile也改成6380的话，查看日志就得用tail -100 /tmp/redis_6380.log

    1.4.5 启动codis-fe

    使用 codis-fe-admin.sh脚本启动 codis-fe，并查看 fe 日志确认启动是否有异常。

    ./admin/codis-fe-admin.sh start

    tail -100 ./log/codis-fe.log.2019-05-26

    1.5 通过fe添加group

    通过web浏览器访问集群管理页面(fe地址:127.0.0.1:9090) 选择我们刚搭建的集群 codis-demo，在 Proxy 栏可看到我们已经启动的 Proxy， 但是 Group 栏为空，因为我们启动的 codis-server 并未加入到集群 添加 NEW GROUP，NEW GROUP 行输入 1，再点击 NEW GROUP 即可 添加 Codis Server，Add Server 行输入我们刚刚启动的 codis-server 地址，添加到我们刚新建的 Group，然后再点击 Add Server 按钮即可，如下图所示:

    详解Codis安装与部署

    1.6 通过fe初始化slot

    新增的集群 slot 状态是 offline，因此我们需要对它进行初始化（将 1024 个 slot 分配到各个 group），而初始化最快的方法可通过 fe 提供的 rebalance all slots按钮来做，如下图所示，点击此按钮，我们即快速完成了一个集群的搭建。

    详解Codis安装与部署

    1.7 通过 ansible 快速部署集群

    使用 ansible 可快速在单机、多机部署多套 codis 集群。 ansible 文件夹包含了部署 codis 集群的 playbook，根据自己部署环境修改 groups_var/all文件里参数，修改 hosts 文件添加部署的环境 IP 即可。 ansible 安装也及其简单，各部署机器无需安装任何额外的 agent，彼此之间通过 ssh 通信。

    git clone https://github.com/ansible/ansible.git -b stable-2.3
cd ./ansible
source ./hacking/env-setup
cd $codis_dir/ansible
ansible-playbook -i hosts site.yml

    集群配置

    2.1 添加Redis实例

    这里再分别添加6381、6382两个Redis实例。

    cp config/redis.conf config/redis6381.conf

    cp config/redis.conf config/redis6382.conf

    分别更新6381、6382.conf的port、pidfile和logfile

    vim config/redis6381.conf

    更新之后，启动新增的两个Redis实例。

    ./bin/codis-server ./config/redis6381.conf

    ./bin/codis-server ./config/redis6382.conf

    详解Codis安装与部署

    按照上面add server的方法(如下图)添加两个实例，注意，若未执行./bin/codis-server ./config/redis6381.conf，添加时会报错。

    详解Codis安装与部署

    刚添加进来的默认状态是NO:ONE，如下图，点击小扳手(SLAVEOF 127.0.0.1:6380)。

    详解Codis安装与部署

    测试效果：

    详解Codis安装与部署

    注意：如上图，开启集群管理之后，6380可读可写，81和82只有只读权限。

    2.2 创建新的分组

    按照上面步骤继续创建7380和7381.

    详解Codis安装与部署

    在Codis • Dashboard(http://ip:9090/#codis-demo)中添加新的分组和server成员。

    详解Codis安装与部署

    相关文章

      网友评论

          本文标题：详解Codis安装与部署

          本文链接：https://www.haomeiwen.com/subject/xoyvactx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|详解Codis安装与部署|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！