第六篇: MySQL主从复制 -- Centos7(64位)云主

作者: HelloJames | 来源:发表于2018-01-05 22:46 被阅读3199次

前面几篇已完成基础环境的搭建和一个flask极简项目的发布.在实际使用当中, 数据库备份也显得很重要.因为使用的是docker版mysql(5.6). 本文将基于此环境, 实战讲解docker版mysql的主从复制.

使用MySQL主从复制的目的在于:

主从服务器设置的稳健性得以提升. 如果主服务器发生故障, 可以把本来作为备份的从服务器提升为主服务器.
在主从服务器上分开处理用户的请求, 可获得更短的响应时间.
用从服务器做数据备份而不会占用主服务器的系统资源.

MySQL主从复制

场景描述

在第二篇: 搭建环境 -- Centos7(64位)云主机部署Python Flask项目实战系列中已经创建有一个docker版的mysql 5.6. 这里将已经创建的mysql容器作为主容器, 再创建一个容器作为从容器.

主mysql服务器: 名为my-mysql的docker容器
从mysql服务器: 需要新建容器

主容器my-mysql已经在运行中.

创建mysql从容器(mysql-bk)

复制主容器的映射文件夹

[root@localhost local]# cp -r mysql mysql_bk

创建从容器, 并命名为: mysql-bk,并连接主容器my-mysql

[root@localhost mysql] docker run --restart=always -p 3305:3306 --name mysql-bk --link my-mysql:my-mysql -v $PWD/conf/my.cnf:/etc/mysql/my.cnf -v $PWD/logs:/logs -v $PWD/data:/mysql_data -e MYSQL_ROOT_PASSWORD=12345 -d mysql:5.6

这里将docker主机的3305端口映射到从容器mysql-bk. 意即: 在宿主机器中使用3305端口来连接从容器mysql-bk.

查看运行状态

[root@huanaCentos mysql_bk]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                      NAMES
4781d5c516b8        mysql:5.6           "docker-entrypoint.sh"   29 seconds ago      Up 28 seconds       0.0.0.0:3305->3306/tcp     mysql-bk
615c9b2e4fa3        mysql:5.6           "docker-entrypoint.sh"   About an hour ago   Up 53 minutes       0.0.0.0:3306->3306/tcp     my-mysql
4dbea194a61c        redis:3.2           "docker-entrypoint.sh"   5 days ago          Up 25 hours         0.0.0.0:6379->6379/tcp     my-redis
3bdee31c2ddc        mongo:3.4           "docker-entrypoint.sh"   5 days ago          Up 25 hours         0.0.0.0:27017->27017/tcp   my-mongo

docker link

Docker通过下述两种方法把子容器里的信息暴露给父容器:

环境变量
更新 /etc/host 文件
先来看下docker设定的环境变量。在mysql-bk容器里，运行 env 命令列出所有的环境变量。

[root@localhost mysql_bk]# docker exec -it mysql-bk bash
root@4781d5c516b8:/# env                                                                                                                                                                 
HOSTNAME=4781d5c516b8
MYSQL_VERSION=5.6.37-1debian8
MY_MYSQL_NAME=/mysql-bk/my-mysql
MY_MYSQL_ENV_MYSQL_MAJOR=5.6
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
PWD=/
MY_MYSQL_PORT=tcp://172.17.0.3:3306
MY_MYSQL_PORT_3306_TCP_PORT=3306
MY_MYSQL_PORT_3306_TCP_ADDR=172.17.0.3
MY_MYSQL_PORT_3306_TCP=tcp://172.17.0.3:3306
MY_MYSQL_PORT_3306_TCP_PROTO=tcp
SHLVL=1
HOME=/root
MY_MYSQL_ENV_MYSQL_VERSION=5.6.37-1debian8
MY_MYSQL_ENV_GOSU_VERSION=1.7
MYSQL_MAJOR=5.6
MY_MYSQL_ENV_MYSQL_ROOT_PASSWORD=12345
GOSU_VERSION=1.7
MYSQL_ROOT_PASSWORD=12345
_=/usr/bin/env
root@4781d5c516b8:/#

可以看到Docker创建了一些对于我们使用my-mysql很有用的环境变量。每一个变量都以 MY-MYSQL 开头. 你可以使用这些环境变量来配置你的应用程序来连接 my-mysql里的数据库。连接是安全的、私有的仅限于 mysql-bk 和 my-mysql之间。

除了环境变量之外Docker会把父容器的IP添加到子容器的/etc/hosts里。

root@4781d5c516b8:/# cat /etc/hosts
127.0.0.1   localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.3  my-mysql 615c9b2e4fa3
172.17.0.5  4781d5c516b8

此时, mysql-bk容器中, 可以直接ping通my-mysql容器了.

root@4781d5c516b8:/# ping my-mysql
PING my-mysql (172.17.0.3): 56 data bytes
64 bytes from 172.17.0.3: icmp_seq=0 ttl=64 time=0.082 ms
64 bytes from 172.17.0.3: icmp_seq=1 ttl=64 time=0.071 ms
64 bytes from 172.17.0.3: icmp_seq=2 ttl=64 time=0.083 ms

主从复制(无用户数据的情况)

1. 修改配置

在主容器my-mysql的配置文件的[mysqld]栏添加以下两行:

log-bin = mysql-bin 
server-id = 1 
thread_concurrency     = 2

thread_concurrency 与线程有关
thread_concurrency应设为CPU核数的2倍. 比如有一个双核的CPU, 那thread_concurrency 的应该为4; 2个双核的cpu, thread_concurrency的值应为8.

在从容器mysql-bk的配置文件的[mysqld]栏添加以下两行:

log-bin = mysql-bin 
server-id = 2
thread_concurrency     = 2

重新运行下这两个容器:

[root@localhost mysql_bk]# docker restart mysql-bk
mysql-bk
[root@localhost mysql_bk]# docker restart my-mysql
my-mysql

2. 主容器上进行操作

(1). 创建一个用户用来同步数据

mysql> GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)

(2). 查看主mysql容器数据库状态

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      120 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql>

记下File及Position的值, 在后面进行从容器操作的时候需要使用.

如果没有查到数据, 请检查my.cnf配置是否正确.

3. 在从容器mysql-bk中执行同步

(1).执行同步SQL语句

mysql> change master to master_host='172.17.0.1', master_user='backup',
    -> master_password='123456',
    -> master_log_file='mysql-bin.000001',  
    -> master_log_pos=120,
    -> master_port=3306;
Query OK, 0 rows affected, 2 warnings (0.02 sec)

master_host值也可为: my-mysql, 因为在mysql-bk容器本地/etc/hosts文件中已经有该容器的地址解析了.

(2).启动slave同步功能

mysql> start slave;
Query OK, 0 rows affected (0.01 sec)

(3).主从同步检查

执行show slave status/G来检查从服务器的同步情况, 一个正常的输出结果应该如下面的形式:

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.17.0.1
                  Master_User: backup
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 120
               Relay_Log_File: mysqld-relay-bin.000002
                Relay_Log_Pos: 283
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 120
              Relay_Log_Space: 457
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1
                  Master_UUID: ac7410b4-8553-11e7-bd97-0242ac110003
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: 
                Auto_Position: 0
1 row in set (0.00 sec)
mysql>

主从复制(有用户数据的情况)

如果主容器my-mysql中已经存在用户数据, 那么在进行主从复制时, 需要做如下处理:

1. 主数据库锁表操作, 不让数据再进行写入操作.

[root@localhost mysql_bk]# docker exec -it my-mysql bash
root@615c9b2e4fa3:/# mysql -u root -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.6.37-log MySQL Community Server (GPL)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.01 sec)

2. 查看主数据库的状态

mysql> show master status;
记下File和Position的值, 以备从服务器使用.

3. 把主服务器的数据文件复制到从服务器.

(1). 将主数据库的数据备份到db_dev.sql文件

mysqldump -uroot -p db_dev > db_dev.sql

(2). 将备份的数据文件复制宿主机器中.

docker cp my-mysql:/usr/local/mysql/mysql.bak.sql /usr/local/

(3). 将宿主机器中的备份文件复制到从数据库容器中

docker cp data/mysql.bak.sql mysql-bk:/usr/local/

(4). 将数据复制到从数据库容器中.

docker cp data/mysql.bak.sql mysql-bk:/usr/local/

(5). 导入数据到从容器的数据库中.

mysql -u root -p db_dev < db_dev.sql

4. 取消主数据库锁定.

mysql> UNLOCK TABLES;

从服务器的操作和前面的步骤一样(略过).

验证

在主数据库容器内创建新的数据库和表, 然后插入记录, 再登录到从数据为容器的数据库中, 查看是否也建立相一致的库和表以及记录.

mysql> create database db_sync;
Query OK, 1 row affected (0.01 sec)
mysql> create table demo(id int(3), name char(10));
Query OK, 0 rows affected (0.12 sec)
mysql> insert into demo values (001, 'jameszhang');
Query OK, 1 row affected (0.00 sec)

然后, 进入到从容器中查看是否存在db_sync数据库, demo表和一笔记录.

写得比较仓促, 如有错误, 请各位看官帮忙批评指正!