美文网首页
记一次mysql数据迁移

记一次mysql数据迁移

作者: 平凡之路_0245 | 来源:发表于2017-08-04 10:02 被阅读0次

    需求

    因为原来的旧数据库A老旧,需要裁撤。目前计划搭建一个新的库B,首先让新库B成为旧库A的从库,之后反转,裁撤掉旧库A,让新库B成为主库。

    问题

    A库是另外一个库的从库,并且A库中混合着innodb和myisam引擎库表。目前新库B打算同步A库中一部分库表,另外的库表放弃。B库主要从事离线数据统计。

    准备阶段

    a.下载mysql库,配置好新库B。
    b. 备份/etc/my.cnf.3306文件为 /etc/my.cnf.3306.bak
    c. 修改 /etc/my.cnf.3306 配置文件里的参数
        1. server_id 是mysql的身份ID(主从配置用到辨别mysql身份的), 修改 server_id 为一个和IP相关随机数。
        2. log_slave_updates=1;决定是否本slave库是否要将更新写入bin-log,如果slave可能成为主库需要设置。
        3. innodb_flush_log_at_trx_commit=2;事务等操作是否实时同步到bin-log(容灾和性能)
        4. sync_binlog =1;二进制日志同步到磁盘的频率(数据容灾)

    启动新库B

    cd /usr/local/mysql/bin/;
    mysqld_safe --defaults-file=/etc/my.cnf.3306 --user=mysql &

    锁住主库:
             flush tables with read lock;

    主库拉取快照

    方案1
    方法:逻辑备份,将表锁住,然后使用tar命令拷贝。
    问题:要拷贝的数据太多,文件太大。tar命令拷贝之后,出现文件大小不一致,解压失败的情况。经过尝试,最终放弃,问题太多了。tar命令打包,新机器解包失败,scp拷贝文件,出现文件大小不一致。

    方案2
    方法:使用mysqldump命令导出数据。
    一次导出,mysqldump  --master-data=1 --opt --databases demo_stat > data.demo.sql。结果数据量太大,磁盘空间不足了!

    方案3
    方法:使用mysqldump命令导出数据。分批导出,分批入到新库中。
    这是最终方案。

    从库导入快照

    mysql -uroot < databases.sql
    并查看databases.sql中的 CHANGE MASTER语句,确定binlog文件名和pos

    在主库上为从库创建用户

    grant replication slave, replication client on *.* to replication@'b.b.b.b' identified by '123456';

    在从库上设置主库

    mysql > change master to master_host='a.a.a.a', master_user='replication', master_password='123456', master_port=3306, master_log_file='mysqlslave-log.013445', master_log_pos=185073000, master_connect_retry=10;
    mysql > slave start;

    解锁主库:

          关闭shell。

    后期观察

    挑一个库表,查看备份数据是否完整。

    可能遇到问题

    1、Last_IO_Error: error connecting to master 'replication
    Slave_IO_Running: Connecting

         原因:用户密码错误。

    2、数据量过大,迁移时间太久,机器太旧。采用逻辑备份的时候,由于tar命令版本不一致,旧机器用的是tar 1.15.1,新机器用的是 tar 1.26,打出来的包有可能解不了。

    3、Last_Error: Error 'Duplicate entry '567828' for key 'PRIMARY'' on query. Default database:...
           原因:是某个库没有更新,继续锁表,拷贝到新的机器上。

    结束!

    相关文章

      网友评论

          本文标题:记一次mysql数据迁移

          本文链接:https://www.haomeiwen.com/subject/luoplxtx.html