美文网首页
TIDB安装及MySql数据迁移

TIDB安装及MySql数据迁移

作者: T_wk | 来源:发表于2020-01-11 17:56 被阅读0次

    TIDB整体架构:

    TiDB 集群主要包括三个核心组件:TiDB Server,PD Server 和 TiKV Server。

    PD Server:Placement Driver (简称 PD) 是整个集群的管理模块,其主要工作有三个:一是存储集群的元信息(某个 Key 存储在哪个 TiKV 节点);二是对 TiKV 集群进行调度和负载均衡(如数据的迁移、Raft group leader 的迁移等);三是分配全局唯一且递增的事务 ID。

    PD 通过 Raft 协议保证数据的安全性。Raft 的 leader server 负责处理所有操作,其余的 PD server 仅用于保证高可用。建议部署奇数个 PD 节点。

    TiKV Server:负责存储数据,从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基本单位是 Region,每个 Region 负责存储一个 Key Range(从 StartKey 到 EndKey 的左闭右开区间)的数据,每个 TiKV 节点会负责多个 Region。TiKV 使用 Raft 协议做复制,保持数据的一致性和容灾。副本以 Region 为单位进行管理,不同节点上的多个 Region 构成一个 Raft Group,互为副本。数据在多个 TiKV 之间的负载均衡由 PD 调度,这里也是以 Region 为单位进行调度。

    TiDB Server: 负责接收 SQL 请求,处理 SQL 相关的逻辑,并通过 PD 找到存储计算所需数据的 TiKV 地址,与 TiKV 交互获取数据,最终返回结果。TiDB Server 是无状态的,其本身并不存储数据,只负责计算,可以无限水平扩展,可以通过负载均衡组件(如LVS、HAProxy 或 F5)对外提供统一的接入地址。

    Linux版本要求:

    TIDB官方指出:TiDB 在 CentOS 7.3 的环境下进行过大量的测试,同时社区也有很多该操作系统部署的最佳实践,因此,建议使用 CentOS 7.3 以上的 Linux 操作系统来部署 TiDB。

    环境依赖:

    安装MySQL

    TIDB安装步骤:

    1、[root@localhost /]$ cd /usr/local/soft/

           [root@localhost soft]$ wget http://download.pingcap.org/tidb-latest-linux-amd64.sha256

           [root@localhost soft]$ wget http://download.pingcap.org/tidb-latest-linux-amd64.sha256

    2、检查文件完整性

    [root@localhost soft]$ sha256sum -c tidb-latest-linux-amd64.sha256

    3、解压文件

    [root@localhost soft]# tar -xvf tidb-latest-linux-amd64.tar.gz

    4、data、logfile路径

    [root@localhost soft]# mkdir -p /data/pd/{data,logs}

    [root@localhost soft]# mkdir -p /data/tikv/{data,logs}

    [root@localhost logs]# mkdir -p /data/tidb/logs

    5、启动pd-server

    [root@localhost logs]# /usr/local/tidb/bin/pd-server --data-dir=/data/pd/data --log-file=/data/pd/logs/pd.log &

    6、启动tikv

    [root@localhost logs]# /usr/local/tidb/bin/tikv-server --pd="127.0.0.1:2379" --data-dir=/data/tikv/data --log-file=/data/tikv/logs/tikv.log &

    7、启动tidb

    [root@localhost logs]# /usr/local/tidb/bin/tidb-server --store=tikv --path="127.0.0.1:2379" --log-file=/data/tidb/logs/tidb.log &

    8、验证:TCP 4000 端口是 TiDB 服务默认端口,验证4000端口是否已被tidb-server 占用

    使用MySQL客户端连接测试:

    [root@localhost logs]# mysql -uroot -p -h127.0.0.1 -P4000

    从Server version中看出已经连接上TIDB,TIDB语法与MySql语法基本一致,简单的验证一下

    MySql数据迁移:

    mydumper安装:

    官方推荐采用mydumper,具体可以参考 https://github.com/maxbube/mydumper。可以使用 mydumper 从 MySQL 导出数据,然后用 loader 将其导入到 TiDB。

    mydumper安装:

    [root@localhost soft]# yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake make

    [root@localhost soft]# wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz

    [root@localhost soft]# tar zxvf mydumper-0.9.1.tar.gz

    [root@localhost soft]# tar zxvf mydumper-0.9.1.tar.gz

    [root@localhost soft]# cd mydumper-0.9.1/

    [root@localhost mydumper-0.9.1]# cmake .

    [root@localhost mydumper-0.9.1]# make && make install

    在安装过程中,在cmake .时候,报了make: *** No targets specified and no makefile,因为缺少相关的依赖,

    [root@localhost mydumper-0.9.1]# yum -y install gcc gcc-c++ autoconf automake

    [root@localhost mydumper-0.9.1]# yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel (安装依赖zlib、openssl和pcre)

    安装完成后生成两个二进制文件mydumper和myloader位于/usr/local/bin目录下:

    从 MySQL 导出数据:

    [root@localhost bin]# ./mydumper -h 127.0.0.1 -P 3306 -u root -p root -t 16 -F 64 -B tidb -T t_order --skip-tz-utc -o /usr/local/data

    我们使用 -B tidb 表明是对 tidb 这个 database 操作,然后用 -T t_order 只导出t_order表。如果有多张表,中间用逗号隔开,例如: t1,t2 表明只导出 t1,t2 两张表。

    -t 16 表明使用 16 个线程去导出数据。-F 64 是将实际的 table 切分成多大的 chunk,这里就是 64MB 一个 chunk。

    --skip-tz-utc 添加这个参数忽略掉 MySQL 与导数据的机器之间时区设置不一致的情况,禁止自动转换。

    查看导出的数据:

    向 TiDB 导入数据:

    使用 myloader 将之前导出的数据导入到 TiDB:

    [root@localhost bin]# ./myloader -h 127.0.0.1 -u root -P 4000 -t 32 -d /usr/local/data/

    导入成功之后,我们可以用 MySQL 官方客户端进入 TiDB,查看:

    数据导入成功。

    相关文章

      网友评论

          本文标题:TIDB安装及MySql数据迁移

          本文链接:https://www.haomeiwen.com/subject/hmxbactx.html