生产环境迁移至预发布环境

生产环境迁移至预发布环境

一、mysql数据库迁移

1、 预发布环境：删除数据库shentb-relaese

drop database shentb-release;

2、预发布环境：新建数据库shentb-relaese

字符集：utf8mb4 -- UTF-8 Unicode
排序规则：utf8mb4_general_ci

3、同步表结构

导出数据库表结构shentb-pro
mysqldump -h10.0.0.13 -uroot -p11111 -d shentb-pro > shentb-pro.sql;
预发布环境执行
source /home/yangkunlin/shentb-pro-db/shentb-pro.sql;

4、导出表数据 排除不需要的大数据表

mysqldump -h10.0.0.13 -uroot -p shentb-pro --ignore-table=shentb-pro.tbl_original_mohe_carrier --ignore-table=shentb-pro.tbl_original_carrier_calls --ignore-table=shentb-pro.tbl_addresslist_snapshoot --ignore-table=shentb-pro.tbl_summary_report --ignore-table=shentb-pro.tbl_original_taobao --ignore-table=shentb-pro.tbl_intf_call_log --ignore-table=shentb-pro.tbl_addresslist --ignore-table=shentb-pro.tbl_data_result --ignore-table=shentb-pro.tbl_ioudata --ignore-table=shentb-pro.tbl_outer_intf_result_rela --ignore-table=shentb-pro.tbl_beike --ignore-table=shentb-pro.tbl_intf_record --ignore-table=shentb-pro.tbl_original_jingdong --ignore-table=shentb-pro.tbl_serial_number>> shentb-pro-data.sql
结果：5G数据导出时间约1分钟，可在使用高峰期导出。

部分不要表数据仅导出最近的10%的数据 max(id)*0.9

mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_data_result --where="id>14966754" > tbl_data_result.sql

mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_addresslist --where="id>90500000" > tbl_addresslist.sql

mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_addresslist_snapshoot --where="id>196000000" > tbl_addresslist_snapshoot.sql

mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_ioudata --where="id>2334000" > tbl_ioudata.sql

mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_outer_intf_result_rela --where="id>16606000" > tbl_outer_intf_result_rela.sql

5、导入预发布环境

source /home/yangkunlin/shentb-pro-db/shentb-pro-data.sql;
结果：5G数据导入耗时27分钟

二、mongodb数据库迁移

1、登录生产环境mongo客户端

其他环境mongo客户端，导出命令没执行成功，所以暂时用这种方式，先导出再传到其他服务器做导入

docker exec -it mongo /bin/bash

2、导出除运营商外的所有表

mongodump -updloan -pt!@#123 --authenticationDatabase=admin -dpdloan --excludeCollectionsWithPrefix=tmobile_call -o /data/db/bak/
可多加一个参数忽略 --excludeCollection=system_log
结果：导出数据150G，用时10分钟；忽略system_log后仅40G

3、导入文件

mongorestore -h10.0.0.25:16906 -updloan -pt!@#123 --authenticationDatabase admin -d pdloan /data/db/bak/pdloan

4、批量生成索引

三、应用搭建

1、数据中心服务

nohup java -jar pdloan_analysis-1.0-SNAPSHOT.jar > pdloan_analysis.log 2>&1 &

2、文件服务

nohup java -jar pdloan_analysis-1.0-SNAPSHOT.jar > pdloan_analysis.log 2>&1 &