阿里云上迁移Mongo副本集数据库到ECS自建服务器的记录

从 阿里云上 迁移 Mongo 副本集 数据库 到 ECS 自建服务器的记录

环境:

• 阿里云 —— Mongo 3.2 版本 , 副本集环境, 3节点 一主, 一从, 一隐藏节点

• ECS ——— Ubuntu 16.04 64位 4核8G 系统盘 20G, 数据盘200G

注意!!! ECS 上的 Mongo要和 阿里云上的 Mongo 同一版本,详情参考阿里云说明
阿里云Mongo迁移说明--MongoDB物理备份文件恢复至自建数据库

这里是 3.2 版本

ECS 基本环境准备:

• 安装 JDK 8

• 安装 Mongo 3.2

这里使用包管理工具 APT包 管理工具

1.安装 JDK 8

先更新包源

$ sudo apt-get update

安装python-software-properties

$sudo apt-get install python-software-properties

$sudo apt-get install software-properties-common

添加ppa

$ sudo add-apt-repository ppa:webupd8team/java

然后再次更新一下

$ sudo apt-get update

安装

$ sudo apt-get install oracle-java8-installer

过程中 Y 同意 然后 有个图形化页面 ,可用键盘剪头选择,继续同意.

最后验证

$ java -version

2.安装 Mongo 3.2

参考: https://docs.mongodb.com/v3.2/tutorial/install-mongodb-on-ubuntu/

首先导入 Mongo GPG密钥

$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv D68FA50FEA312927

Ubuntu 16.04

$ echo "deb http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.2 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.2.list

$ sudo apt-get update

安装指定的对应的版本包

$ sudo apt-get install -y mongodb-org=3.2.22 mongodb-org-server=3.2.22 mongodb-org-shell=3.2.22 mongodb-org-mongos=3.2.22 mongodb-org-tools=3.2.22

等待安装完成.

Mongo 的 配置文件在 /etc/mongod.conf

查看配置的 数据库文件路径

默认是 /var/lib/mongodb

日志默认是 /var/log/mongodb/mongod.log

到这个时候先别着急运行 Mongo

$ cd /var/lib/mongodb 

//(清除Mongo数据库文件,请注意在 mongo 数据库文件目录下执行该操作,防止误删其他文件)
$ rm -r * 

如果是副本集的 最少需要3台ECS (生产环境) 还有一个仲裁节点可以放在其中一台上面(另起一个端口再跑一个Mongo)也可以再用另外一台服务器上面部署,起仲裁作用而已,也无需保存数据.

另外3台都同样部上相同的环境配置.

==============此处先告一段落================

首先先从阿里云上的数据库进行, 全量备份(物理备份) ——之前可能有自动备份策略,可根据需求来.

如果 ECS 是新买的,那么它的数据盘肯定是已经在阿里云控制台上显示挂载了, 但是还要在ECS上进行挂载的,具体挂载方法参考 阿里云的教程,很全.

阿里云挂载云盘操作示例

注意数据盘要挂载在 mongo 的 数据库文件夹下 /var/lib/mongodb

阿里云的 参考里面是 /mnt 注意别挂错了!

挂载云盘注意

参考1: https://help.aliyun.com/document_detail/25446.html?spm=5176.2020520101.121.2.8b1f4df56ohr1f

参考2: https://help.aliyun.com/document_detail/108501.html?spm=a2c4g.11186623.6.788.73cc7d56IQ0yED (Linux 看这里)

然后在ECS服务器上从 wget 下载 全量备份文件

下载 全量备份文件操作示意

停止Mongo 的进程 ,如果有的话

$ ps -ef | grep mongod 

$ kill -9 <mongod pid>

$ cd /var/lib/mongodb

//(清除Mongo数据库文件,请注意在 mongo 数据库文件目录下执行该操作,防止误删其他文件)
$ rm -r * 

//从 XXX地址下载文件 到当前文件夹下并指定名字为 mongo_data.tar.gz
$ wget "XXXXXX" -O mongo_data.tar.gz

需要蛮久的,ECS我选 100M 按流量计费的带宽, 12M/s 53G 要 70 多分钟

下载完成, 解压, 解压较快 10~20分钟

$ tar xzvf mongo_data.tar.gz

参考: https://help.aliyun.com/document_detail/58329.html?spm=a2c6r.11610030.0.0.3c5e4231z2GjdA

$ vi /etc/mongod.conf

把 配置文件 按照下面配置

storage:
  dbPath: /var/lib/mongodb
 # journal:
   # enabled: true
  directoryPerDB: true
#  engine:
#  mmapv1:
#  wiredTiger:

# where to write logging data.
systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongod.log

# network interfaces
net:
    bindIp: 0.0.0.0
    http:
        enabled: false
    port: 27017
    unixDomainSocket:
        enabled: false

processManagement:
  fork: true
  pidFilePath: /etc/mongodb/mongod.pid

:wq 保存

$ cd /etc/mongodb 看看有无此目录 如果没有就创建

$ sudo mkdir -p /etc/mongodb

//启动Mongo
// --fork 是守护进程模式启动  
$ /usr/bin/mongod --config /etc/mongod.conf --fork 

$ mongo --host 127.0.0.1 -u <username> -p <password> --authenticationDatabase admin

• <username>：云数据库MongoDB上该实例的用户名，默认为 root 。
• <password>：云数据库MongoDB上该实例设置的密码。

由于 从云数据库MongoDB 备份下来的 数据是 隐藏节点备份的数据, 所以可能会报没有权限的问题.

这是阿里云官方删除 副本集配置的命令:

登录Mongo之后:

use local

db.system.replset.remove({})

如果提示没有权限,可尝试如下操作:

重新初始化local库

• 1.单机启动mongodb，不带--replSet参数 && conf文件也注释掉replication
• 2.删掉local库 db.getSiblingDB('local').dropDatabase()
  关闭Mongo

$ mongo --host 127.0.0.1 -u <username> -p <password> --authenticationDatabase admin
use admin
db.shutdownServer()
exit

• 3.配置新的的 副本集名称 (conf文件指定replication)
• 4.配置副本集之间连通的Key (需要修改conf, 下边说明)
• 5.重启mongodb副本集，conf文件指定replication
• 6.执行rs.initate()重新初始化新的oplog和副本集配置

//指定副本集名称 其他的节点也要 写入此配置

$ vi /etc/mongod.conf

replication:

 #副本集名称

 replSetName: rs0

:wq

配置 Key ,复制集之间的互联也是需要验证的，所以要配置keyfile来满足这个需求，如果开启了 authorization ，投票节点通过证书的形式与复制集中其他节点进行认证。MongoDB的身份认证过程是加密的。MongoDB的认证交互是通过密码进行的

创建一个keyfile,并且拷贝到其他从节点

$ mkdir -p /var/lib/key

// 随机生成 base64 的 756 位码作为key

$ openssl rand -base64 756 > /var/lib/key/autokey

$ chmod 400 /var/lib/key/autokey

$ vi /etc/mongod.conf

security:

 authorization: enabled

 # 配置的Key 文件路径

 keyFile: /var/lib/key/autokey

:wq

tips:

其他的节点(其他的3个节点,还有仲裁节点) 也要 写入此 key 和 replication 配置
然后启动重启全部节点

tips:

!!注意:如果是搭建过一次 副本集的情况,都需要清除 local 库 把 rs 的配置清除掉(参照重新初始化local库)
删除的时候取消 key 的认证 和 authorization 开关 还有 副本集的名称 replication 配置启动

重启Mongo

在要成为主节点的服务器上操作 Mongo

$ /usr/bin/mongod -config /etc/mongod.conf

重新初始化配置 副本集配置

//登录

$ mongo --host 127.0.0.1 -u <username> -p <password> --authenticationDatabase admin

rs.initiate(
  {
    _id: "rs0",
    members: [{
        _id: 0,
        host: '172.18.114.103:27017',
    }, {
        _id: 1,
        host: '172.18.114.101:27017'
    }, {
        _id: 2,
        host: '172.18.114.102:27017'
    }, {
        _id: 3,
        host: '172.18.114.91:27017',
        arbiterOnly: true
    }]
  }
)

//其中 arbiterOnly: true 表示这个是仲裁节点

rs.status()

查看各个节点的状态
状态 情况显示如下:

状态

主节点 应该是显示 PRIMARY

主节点

这个时候从节点 会看到 STARTUP2 (Mongo 的数据还在备份)

从节点:

rs.slaveOk()

show dbs

可以看到 数据库数据慢慢增加,这个时候就是正常的了

到最后完成后状态会变成:

show dbs 可能会发现 数据库的数据大小不一样,其实是正常的.

可 查询表的条数 验证

eg:

use iot08

show collections

//与主节点的表的数据条数对比

db.<XX表>.count() 

至此,迁移算是完成了.

关于Mongo 的读写分离问题, 我们使用的 API 使用Python - Pymongo , 读写分离是 连接Mongo时的连接方式决定.

以下是以参考文章:
Mongo--
https://docs.mongodb.com/v3.2/tutorial/install-mongodb-on-ubuntu/
Mongo添加副本集配置--
https://docs.mongodb.com/manual/reference/method/rs.initiate/?spm=a2c4g.11186623.2.25.e7fc2124WDnFbc

阿里云--
https://help.aliyun.com/document_detail/25446.html?spm=5176.2020520101.121.2.8b1f4df56ohr1f
https://help.aliyun.com/document_detail/108501.html?spm=a2c4g.11186623.6.788.73cc7d56IQ0yED
https://help.aliyun.com/document_detail/58329.html?spm=a2c6r.11610030.0.0.3c5e4231z2GjdA

其他的--
https://www.cnblogs.com/shengdimaya/p/6598450.html(配置验证Key参考)
https://www.jianshu.com/p/36bb2bbbe461(状态参考)