美文网首页
对 生产数据库中千万级别数据操作流程

对 生产数据库中千万级别数据操作流程

作者: 朱传顺 | 来源:发表于2020-05-08 10:04 被阅读0次

        说下初次操作第一反应,对我而言数据库的备份或者表备份,基本都是使用 Navicat 工具 中的数据传输,当库、表 体量小的时候完全没有问题,但是当数量达到 千万级别,备份就要传输 几个小时,同时也将 数据库所在服务器的带宽用完,其他访问生产数据库的服务就出现阻塞。(切记除了查询千万别直接对生产数据进行操作)

        后面 改用 Mysqldump 操作,就便捷很多。操作具体如下:

1、生产数据库所在服务器上使用 Mysqldump 命令 将iov 数据库中 channel表 数据导出,生产 .sql 文件 (数据库备份都是压缩导出)

mysqldump -uadmin -p9PVaSxeXXXXXXLp8 iov channel > ./channel.sql

(如果文件很大 可以压缩导出 :mysqldump iov channel | gzip > ./channel .sql.gz)

2、在测试服务器上面执行:scp root@172.186.182.202:/root/channel .sql   将数据从生产上面把数据 拉倒测试服务器上面(如果导出的是 channel.sql.gz 的话 执行:scp root@172.186.182.202:/root/channel .sql.gz ,再将gz文件解压:gzip -d channel.sql.gz  ) 在执行scp 命令后要输入 生产服务器 root用户的密码。

3、进入测试数据库:mysql -uroot -pOOt9XXXXXXwAaMho  然后切换到 iov-test 库中 :use iov-test

4、最后执行 source /root/channel.sql   就OK了。其中 /root/channel.sql 就是从生产服务器上面拉下数据路径。

常用 mysql dump 命令如下:

1、导出数据库为dbname的表结构(其中用戶名為root,密码为dbpasswd,生成的脚本名为db.sql)

mysqldump -uroot -pdbpasswd -d dbname >db.sql;

2、导出数据库为dbname某张表(test)结构

mysqldump -uroot -pdbpasswd -d dbname test>db.sql;

3、导出数据库为dbname所有表结构及表数据(不加-d)

mysqldump -uroot -pdbpasswd  dbname >db.sql;

4、导出数据库为dbname某张表(test)结构及表数据(不加-d)

mysqldump -uroot -pdbpasswd dbname test>db.sql;

 5.导出数据中dbname多张表(test1,test2,test3)结构及表数据用用空格隔开

mysqldump -uroot -pdbpasswd dbname test1 test2 test3>db.sql;

常用 mysql dump 命令参考:https://blog.csdn.net/kkk0526/article/details/78281694

相关文章

  • 对 生产数据库中千万级别数据操作流程

    说下初次操作第一反应,对我而言数据库的备份或者表备份,基本都是使用 Navicat 工具 中的数据传输,当...

  • MySQL语句

    数据库级别 一次性操作,创造数据库之类的只需要一次性操作 显示数据库 创建数据库 使用数据库 删除数据库 表级别 ...

  • java数据库之事务

    一、事务的隔离级别 1.1什么是隔离级别 当多个线程都开启事务操作数据库中的数据时,数据库系统要能进行隔离操作,以...

  • pymysql流式游标

    Python通过pymysql操作向mysql读取千万、百万级别的数据库时 如果用传统的fetchall()或fe...

  • 数据库事务四种隔离级别

    定义:在数据库操作中,为了有效保证并发读取数据的正确性,提出的事务隔离级别。数据库事务的隔离级别有4个,由低到高依...

  • 数据库事务隔离的四个级别

    数据库隔离级别是在数据库操作中,为了有效保证并发读取数据的正确性提出的。 隔离级别越高,越能保证数据的完整性和一致...

  • mysql(innodb)事务和锁

    事务的四种隔离级别 在数据库操作中,为了有效保证并发读取数据的正确性,提出的事务隔离级别。我们的数据库锁,也是为了...

  • 日更十三:数据库技术选型

    数据库技术选型:MySQLicon->冷热分离->分库分表->分布式数据库 在常见的业务场景中,数据量千万级别或以...

  • Mybatis源码简析

    本文将按mybatis中主要数据库查询操作的流程对其源码进行简单分析。目录如下: 1、mybatis的主要工作流程...

  • Python进阶2 - 数据库编程: 使用SQLite进行数据库

    操作SQLite数据库 使用python操作数据库的流程: 通过connect()函数获取到数据库连接对象; 通过...

网友评论

      本文标题:对 生产数据库中千万级别数据操作流程

      本文链接:https://www.haomeiwen.com/subject/hiyxnhtx.html