MongoDB备份恢复及导入导出和异构平台迁移。在生产环境中，备份恢复和容灾备份至关重要，需要定时对数据库进行备份，防止异常操作后，能够快速恢复数据。

1 MongoDB工具

MongoDB自带两种工具【mongoexport/mongoimport和mongodump/mongorestore】,可满足日常导入导出和备份恢复的应用，也支持json和 csv 两种数据格式，可以实现异构平台之间数据的迁移。

1.1、工具介绍

mongoexport/mongoimport：导出/导入
mongodump/mongorestore：备份/恢复

1.2、应用场景

1 导出导入

mongoexport/mongoimport：导出导入为json和csv 格式的数据文件。可用于如下场景：
1、异构平台迁移 mysql <---> mongodb的数据互相导入。
2、同平台，跨大版本升级，如：mongodb 2 ----> mongodb 3

2 备份恢复

mongodump/mongorestore用于日常备份恢复。

2、MongoDB的导入导出

2.1 mongoexport导出详解

#mongoexport具体用法如下所示：
$ mongoexport --help  
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导出那些列
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
--authenticationDatabase admin
案例1：单表备份至json格式
mongoexport -uroot -p123 --port 27017 --authenticationDatabase admin -d student  -c users -o /data/mongodb/users.json
案例2：单表备份至csv格式
如需要导出CSV格式数据，则需要使用----type=csv参数，默认实json格式数据。
 mongoexport -uroot -p123 --port 27017 --authenticationDatabase admin -d student  -c courses --type=csv -f id,name,keshi,date  -o /mongodb/courses .csv

导出实战演练：

1、登录数据库
[mongod@mysql-master shard-mongodb]$ mongo --port 27017 admin

2、准备数据
> show dbs
admin   0.000GB
config  0.000GB
local   0.000GB

> use student
switched to db student
> 
> for(i=1;i<=1000;i++){ db.users.insert({id:i,name:"RonnyStack",age:20,addr:"Chain",date:new Date()}); }
WriteResult({ "nInserted" : 1 })
> for(i=1;i<=100;i++){ db.courses.insert({"id":i,"name":"Python","keshi":240,"date":new Date()}); }
WriteResult({ "nInserted" : 1 })

> use student
switched to db student
> show tables
courses
users
> 

3、数据导出
导出json格式
[mongod@mysql-master shard-mongodb]$ mongoexport -uroot -p123 --port 27017 --authenticationDatabase admin -d student  -c users -o /data/mongodb/users.json
2021-09-26T03:51:30.843-0400    connected to: mongodb://localhost:27017/
2021-09-26T03:51:30.866-0400    exported 1000 records

导出csv格式，根据指定的列导出数据
[mongod@mysql-master shard-mongodb]$ mongoexport  -uroot -p123 --port 27017 --authenticationDatabase admin  -d student  -c courses --type=csv -f id,name,keshi,date  -o /data/mongodb/courses.csv
2021-09-26T03:57:25.561-0400    connected to: mongodb://localhost:27017/
2021-09-26T03:57:25.565-0400    exported 100 records


4、查看导出的数据。
[mongod@mysql-master mongodb]$ ll users.json courses.csv 
-rw-rw-r-- 1 mongod mongod   3911 Sep 26 03:57 courses.csv
-rw-rw-r-- 1 mongod mongod 144783 Sep 26 03:51 users.json

[mongod@mysql-master mongodb]$ head -2 users.json 
{"_id":{"$oid":"615023149259bb267e169a6f"},"id":1.0,"name":"RonnyStack","age":20.0,"addr":"Chain","date":{"$date":"2021-09-26T07:36:52.929Z"}}
{"_id":{"$oid":"615023149259bb267e169a70"},"id":2.0,"name":"RonnyStack","age":20.0,"addr":"Chain","date":{"$date":"2021-09-26T07:36:52.977Z"}}

[mongod@mysql-master mongodb]$ head -4 courses.csv 
id,name,keshi,date
1,Python,240,2021-09-26T07:37:00.558Z
2,Python,240,2021-09-26T07:37:00.582Z
3,Python,240,2021-09-26T07:37:00.582Z

2.2 mongoimport导入详解

# mongoimport 用法及案例

$ mongoimport --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-f:指明要导入那些列

MongoBD数据库数据恢复:
案例1：恢复JSON格式表数据到users
mongoimport -uroot -p123 --port 27017 --authenticationDatabase admin -d student -c useres  /data/mongodb/users.json

案例2：恢复CSV格式的文件数据到cousers
如上所示的是导入JSON格式的文件中的内容，如果要导入CSV格式文件中的内容，则需要通过--type参数指定导入格式。

1、csv格式的文件首行有列名字。如：列字段id,name,keshi,date。
mongoimport   -uroot -p123 --port 27017 --authenticationDatabase admin   -d student -c courses --type=csv --headerline --file  /data/mongodb/courses .csv

2、csv格式的文件首行没有列名字，第一行就是数据。
mongoimport   -uroot -p123 --port 27017 --authenticationDatabase admin   -d student -c  courses  --type=csv -f  id,name,keshi,date --file  /data//mongodb/courses .csv

注：--headerline:指明第一行是列名，不需要导入。

导入实战演练：

1、登录数据库
[mongod@mysql-master mongodb]$ mongo --port 27017 admin
2、模拟我操作删除数据库数据
> show dbs
admin    0.000GB
config   0.000GB
local    0.000GB
student  0.000GB
> use student
switched to db student
> show tables
courses
users

> db.courses.drop()
true
> db.users.drop()
true
> 
> show tables
> 

3、导入已经备份的数据
[mongod@mysql-master mongodb]$ ll courses.csv  users.json 
-rw-rw-r-- 1 mongod mongod   3911 Sep 26 03:57 courses.csv
-rw-rw-r-- 1 mongod mongod 144783 Sep 26 03:51 users.json

导入Json格式的数据
[mongod@mysql-master mongodb]$mongoimport -uroot -p123 --port 27017 --authenticationDatabase admin -d student -c useres  /data/mongodb/users.json
2021-09-26T04:23:44.254-0400    connected to: mongodb://localhost:27017/
2021-09-26T04:23:44.296-0400    1000 document(s) imported successfully. 0 document(s) failed to import.
[mongod@mysql-master mongodb]$ 

导入CSV格式的数据
[mongod@mysql-master mongodb]$  mongoimport   -uroot -p123 --port 27017 --authenticationDatabase admin   -d student -c  courses  --type=csv -f  id,name,keshi,date --file  /data//mongodb/courses .csv
2021-09-26T04:26:11.681-0400    connected to: mongodb://localhost:27017/
2021-09-26T04:26:11.702-0400    101 document(s) imported successfully. 0 document(s) failed to import.
[mongod@mysql-master mongodb]$ 

4、进入数据库验证数据是否恢复
> show dbs
admin    0.000GB
config   0.000GB
local    0.000GB
student  0.000GB
> use student
switched to db student
> show tables
courses
users
> db.courses.count()
101
> db.users.count()
1000
> 

验证完，数据已经恢复。

3、MongoDB的备份恢复

mongodump/mongorestore工具用于数据库日常备份恢复，属于物理备份。
mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档数据写入磁盘。

mongodump/mongorestore工具存在的问题

1、使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，
则备份出来的文件可能不完全和Mongodb实时数据相等。
2、在备份时可能会对其它客户端性能产生不利的影响。
建议：备份时一般选择业务量少，或晚上进行备份。可采用一定的备份策略，全量备份和增量备份。

mongodump和mongorestore用法详解

$ mongodump --help
参数说明：
-h:指明数据库宿主机的IP
-u:指明数据库的用户名
-p:指明数据库的密码
-d:指明数据库的名字
-c:指明collection的名字
-o:指明到要导出的文件名
-q:指明导出数据的过滤条件
-j, --numParallelCollections=  number of collections to dump in parallel (4 by default)
--oplog  备份的同时备份oplog
注：mongodump和mongorestore用法基本相同

3.1 数据备份mongodump用法和案例详解

创建备份目录
[mongod@mysql-master mongodb]$ mkdir -vp  /data/mongodb
/bak-mongodb

1、全库备份
[mongod@mysql-master mongodb]mongodump  -uroot -p123 --port 27017 --authenticationDatabase admin -o /data/mongodb/bak-mongodb
注意：全库备份时，除了config 和local 不会备份，其他的库都会备份。在备份目录下回创建库对应的文件夹和文档对应的文件。
备份结果：
[mongod@mysql-master student]$ pwd
/data/mongodb/bak-mongodb/student
[mongod@mysql-master bak-mongodb]$ ll
total 0
drwxrwxr-x 2 mongod mongod  69 Sep 26 05:44 admin
drwxrwxr-x 2 mongod mongod 147 Sep 26 05:44 student
[mongod@mysql-master bak-mongodb]$ cd student/
[mongod@mysql-master student]$ ll
total 216
-rw-rw-r-- 1 mongod mongod  9380 Sep 26 05:44 courses.bson
-rw-rw-r-- 1 mongod mongod   163 Sep 26 05:44 courses.metadata.json
-rw-rw-r-- 1 mongod mongod 98000 Sep 26 05:44 useres.bson
-rw-rw-r-- 1 mongod mongod   162 Sep 26 05:44 useres.metadata.json
-rw-rw-r-- 1 mongod mongod 98000 Sep 26 05:44 users.bson
-rw-rw-r-- 1 mongod mongod   161 Sep 26 05:44 users.metadata.json
[mongod@mysql-master student]$ 


2、备份单库，如备份student库。
[mongod@mysql-master student]$  mongodump   -uroot -p123 --port 27017 --authenticationDatabase admin -d student -o /data/mongodb/bak-mongodb
注意：会创建与库同名的文件目录，并备份改库下的所有的文档。

3、备份库下的表，备份student库下的文档users。
[mongod@mysql-master student]$  mongodump   -uroot -p123 --port 27017 --authenticationDatabase admin -d student-c users-o /data/mongodb/bak-mongodb
注意：创建与库同名的目录，备份users文档，其他的文档不做备份。

4、压缩备份：压缩备份全库，压缩备份某一个库，压缩备份某个库下的表
[mongod@mysql-master mongodb] mongodump  -uroot -p123 --port 27017 --authenticationDatabase admin -o /data/mongodb/bak-mongodb   --gzip
[mongod@mysql-master student]$ mongodump   -uroot -p123 --port 27017 --authenticationDatabase admin -d student -o /data/mongodb/bak-mongodb    --gzip
[mongod@mysql-master student]$ mongodump   -uroot -p123 --port 27017 --authenticationDatabase admin -d student-c users-o /data/mongodb/bak-mongodb  --gzip

查看备份结果
[mongod@mysql-master bak-mongodb]$ pwd
/data/mongodb/bak-mongodb
[mongod@mysql-master bak-mongodb]$ ll
total 0
drwxrwxr-x 2 mongod mongod  75 Sep 26 05:56 admin
drwxrwxr-x 2 mongod mongod 165 Sep 26 05:56 student
[mongod@mysql-master bak-mongodb]$ cd student/
[mongod@mysql-master student]$ ll
total 32
-rw-rw-r-- 1 mongod mongod  765 Sep 26 05:56 courses.bson.gz
-rw-rw-r-- 1 mongod mongod  148 Sep 26 05:56 courses.metadata.json.gz
-rw-rw-r-- 1 mongod mongod 6058 Sep 26 05:56 useres.bson.gz
-rw-rw-r-- 1 mongod mongod  147 Sep 26 05:56 useres.metadata.json.gz
-rw-rw-r-- 1 mongod mongod 6074 Sep 26 05:56 users.bson.gz
-rw-rw-r-- 1 mongod mongod  147 Sep 26 05:56 users.metadata.json.gz
[mongod@mysql-master student]$ 

注意：压缩备份时，会在备份目录下创建与数据库同名的目录，然后对库中的表使用压缩，.gz结尾。

3.12 数据恢复mongorestore用法和案例详解

1、恢复某一个库
[mongod@mysql-master mongodb]$ mongorestore   -uroot -p123 --port 27017 --authenticationDatabase admin -d student1  /data/mongodb/bak-mongodb/student  
 注意：恢复时，备份目录的路径指定到某库即可，如/data/mongodb/bak-mongodb/student ，表示恢复student数据库。如果没有指定到student库名，表示恢复当前目录下所有备份的数据库。

2、恢复某一个库下的表
[mongod@mysql-master mongodb]$ mongorestore   -uroot -p123 --port 27017 --authenticationDatabase admin -d student2 -c users  /data/mongodb/bak-mongodb/student/users.bson 
注意：恢复某个库下的某一个表时，恢复目录指定到表的bson文件。

3、压缩恢复
[mongod@mysql-master mongodb]$ mongorestore   -uroot -p123 --port 27017 --authenticationDatabase admin -d student1  /data/mongodb/bak-mongodb/student  --gzip
[mongod@mysql-master mongodb]$ mongorestore   -uroot -p123 --port 27017 --authenticationDatabase admin -d student2 -c users  /data/mongodb/bak-mongodb/student/users.bson.gz
  --gzip
注意：压缩恢复时，在普通恢复的基础上加--gizp参数即可。

4、如果恢复时，已经存在相同的数据库，通过drop指令强制恢复数据，会删除之前的库，恢复到新库状态。谨慎操作！！！
[mongod@mysql-master mongodb]$ mongorestore  -uroot -p123 --port 27017 --authenticationDatabase admin -d student --drop  /data/mongodb/bak-mongodb/student
注意：--drop参数谨慎操作，生产环境不可用。

4、异构平台【MongoDB和Mysql】数据之间数据迁移

案例：异构平台【MongoDB和Mysql】数据之间数据迁移。mysql数据库迁移到mongodb数据，迁移方案是将mysql的数据表导出为csv格式数据，然后通过mongodb的导入工具导入到数据库中，实现数据迁移。

1、mysql开启安全路径
vim /etc/my.cnf   --->添加以下配置
secure-file-priv=/tmp
注意：重启数据库生效/etc/init.d/mysqld restart

2、导出mysql的表中的数据，如city表。
source /root/world.sql
导入方法：
select * from world.city into outfile '/tmp/city.csv' fields terminated by ',';

3、处理备份文件
desc world.city
  ID          | int(11)  | NO   | PRI | NULL    | auto_increment |
| Name        | char(35) | NO   |     |         |                |
| CountryCode | char(3)  | NO   | MUL |         |                |
| District    | char(20) | NO   |     |         |                |
| Population

vim /tmp/city.csv   ----> 添加第一行列名信息

ID,Name,CountryCode,District,Population

4、在mongodb中导入备份
mongoimport -uroot -p123 --port 27017 --authenticationDatabase admin -d world  -c city --type=csv -f ID,Name,CountryCode,District,Population --file  /tmp/city.csv

use world
db.city.find({CountryCode:"CHN"});


思考：如果world数据库共有100张表，如何获取列明，全部迁移到mongodb，如何做？

获取表的所有列名称
select table_name ,group_concat(column_name) from columns where table_schema='world' group by table_name;

导出数据表为csv格式
select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ',';

select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';")
from information_schema.tables where table_schema ='world';

导入：提示，使用infomation_schema.columns + information_schema.tables

应用场景和用法：mysql和mongodb数据库之间数据迁移
mysql导出和导入csv格式的数据：
mysql导出csv：
select * from test_info   
into outfile '/tmp/test.csv'   
fields terminated by ','　　　 ------字段间以,号分隔
optionally enclosed by '"'　　 ------字段用"号括起
escaped by '"'   　　　　　　  ------字段中使用的转义符为"
lines terminated by '\r\n';　　------行以\r\n结束

mysql导入csv：
load data infile '/tmp/test.csv'   
into table test_info    
fields terminated by ','  
optionally enclosed by '"' 
escaped by '"'   
lines terminated by '\r\n'; 

至此：MongoDB数据库备份恢复和数据迁移介绍完成。