美文网首页
mongodb集群--复制集RS--分布式

mongodb集群--复制集RS--分布式

作者: linux_豪哥 | 来源:发表于2020-01-02 19:45 被阅读0次

    1. MongoDB复制集RS(ReplicationSet)

    1.1 基本原理

    基本构成是1主2从的结构,自带互相监控投票机制(Raft(MongoDB)  Paxos(mysql MGR 用的是变种))
    如果发生主库宕机,复制集内部会进行投票选举,选择一个新的主库替代原有主库对外提供服务。同时复制集会自动通知
    客户端程序,主库已经发生切换了。应用就会连接到新的主库。
    
    

    1.2 Replication Set配置过程详解

    image.png
    image.png
    image.png
    image.png

    1.2.1 规划

    三个以上的mongodb节点(或多实例)
    
    

    1.2.2 环境准备

    多个端口:

    28017、28018、28019、28020
    
    

    多套目录:

    su - mongod 
    mkdir -p /mongodb/28017/conf /mongodb/28017/data /mongodb/28017/log
    mkdir -p /mongodb/28018/conf /mongodb/28018/data /mongodb/28018/log
    mkdir -p /mongodb/28019/conf /mongodb/28019/data /mongodb/28019/log
    mkdir -p /mongodb/28020/conf /mongodb/28020/data /mongodb/28020/log
    
    

    多套配置文件

    /mongodb/28017/conf/mongod.conf
    /mongodb/28018/conf/mongod.conf
    /mongodb/28019/conf/mongod.conf
    /mongodb/28020/conf/mongod.conf
    
    

    配置文件内容

    cat > /mongodb/28017/conf/mongod.conf <<EOF
    systemLog:
      destination: file
      path: /mongodb/28017/log/mongodb.log
      logAppend: true
    storage:
      journal:
        enabled: true
      dbPath: /mongodb/28017/data
      directoryPerDB: true
      #engine: wiredTiger
      wiredTiger:
        engineConfig:
          cacheSizeGB: 1
          directoryForIndexes: true
        collectionConfig:
          blockCompressor: zlib
        indexConfig:
          prefixCompression: true
    processManagement:
      fork: true
    net:
      bindIp: 10.0.1.51,127.0.0.1
      port: 28017
    replication:
      oplogSizeMB: 2048
      replSetName: my_repl
    EOF
    
    \cp  /mongodb/28017/conf/mongod.conf  /mongodb/28018/conf/
    \cp  /mongodb/28017/conf/mongod.conf  /mongodb/28019/conf/
    \cp  /mongodb/28017/conf/mongod.conf  /mongodb/28020/conf/
    
    sed 's#28017#28018#g' /mongodb/28018/conf/mongod.conf -i
    sed 's#28017#28019#g' /mongodb/28019/conf/mongod.conf -i
    sed 's#28017#28020#g' /mongodb/28020/conf/mongod.conf -i
    
    

    启动多个实例备用

    mongod -f /mongodb/28017/conf/mongod.conf
    mongod -f /mongodb/28018/conf/mongod.conf
    mongod -f /mongodb/28019/conf/mongod.conf
    mongod -f /mongodb/28020/conf/mongod.conf
    netstat -lnp|grep 280
    
    

    1.3 配置普通复制集:

    1主2从,从库普通从库
    mongo --port 28017 admin
    设置config变量
    config = {_id: 'my_repl', members: [
                              {_id: 0, host: '10.0.1.51:28017'},
                              {_id: 1, host: '10.0.1.51:28018'},
                              {_id: 2, host: '10.0.1.51:28019'}]
              }             
    初始化(构建)复制集      
    rs.initiate(config) 
    查询复制集状态
    rs.status();
    
    

    1.4 1主1从1个arbiter

    mongo -port 28017 admin
    config = {_id: 'my_repl', members: [
                              {_id: 0, host: '10.0.0.51:28017'},
                              {_id: 1, host: '10.0.0.51:28018'},
                              {_id: 2, host: '10.0.0.51:28019',"arbiterOnly":true}]
              }                
    rs.initiate(config) 
    
    

    1.5 复制集管理操作

    1.5.1 查看复制集状态

    rs.status();    //查看整体复制集状态
    rs.isMaster(); // 查看当前是否是主节点
     rs.conf();   //查看复制集配置信息
    
    

    1.5.2 添加删除节点

    rs.remove("ip:port"); // 删除一个节点(删除会把节点关闭)
    rs.add("ip:port"); // 新增从节点
    rs.addArb("ip:port"); // 新增仲裁节点
    例子:
    添加 arbiter节点
    1、连接到主节点
    [mongod@db03 ~]$ mongo --port 28018 admin
    2、添加仲裁节点
    my_repl:PRIMARY> rs.addArb("10.0.0.53:28020")
    3、查看节点状态
    my_repl:PRIMARY> rs.isMaster()
    {
        "hosts" : [
            "10.0.0.53:28017",
            "10.0.0.53:28018",
            "10.0.0.53:28019"
        ],
        "arbiters" : [
            "10.0.0.53:28020"
        ],
    
    rs.remove("ip:port"); // 删除一个节点
    例子:
    my_repl:PRIMARY> rs.remove("10.0.0.53:28019");
    { "ok" : 1 }
    my_repl:PRIMARY> rs.isMaster()
    rs.add("ip:port"); // 新增从节点
    例子:
    my_repl:PRIMARY> rs.add("10.0.0.53:28019")
    { "ok" : 1 }
    my_repl:PRIMARY> rs.isMaster()
    
    

    1.5.3 特殊从节点

    image image

    介绍:

    arbiter节点:主要负责选主过程中的投票,但是不存储任何数据,也不提供任何服务
    hidden节点:隐藏节点,不参与选主,也不对外提供服务。
    delay节点:延时节点,数据落后于主库一段时间,因为数据是延时的,也不应该提供服务或参与选主,所以通常会配合hidden(隐藏)
    一般情况下会将delay+hidden一起配置使用作用于延时节点
    
    

    配置延时节点(一般延时节点也配置成hidden)

    将节点配置信息定义到cfg
    cfg=rs.conf() 
    修改配置中第二个节点(不是id号而是顺序号,从0开始)
    修改权重为0 不参与选主
    cfg.members[2].priority=0
    开启hidden隐藏  
    cfg.members[2].hidden=true
    设置延时时间(秒)
    cfg.members[2].slaveDelay=120
    配置生效
    rs.reconfig(cfg)    
    
    取消以上配置
    cfg=rs.conf() 
    cfg.members[2].priority=1
    cfg.members[2].hidden=false
    cfg.members[2].slaveDelay=0
    rs.reconfig(cfg)    
    配置成功后,通过以下命令查询配置后的属性
    rs.conf(); 
    
    

    1.5.4 副本集其他操作命令

    查看副本集的配置信息
    admin> rs.conf()
    查看副本集各成员的状态
    admin> rs.status()
    ++++++++++++++++++++++++++++++++++++++++++++++++
    --副本集角色切换(不要人为随便操作)
    admin> rs.stepDown()
    注:
    admin> rs.freeze(300) //锁定从,使其不会转变成主库
    freeze()和stepDown单位都是秒。
    +++++++++++++++++++++++++++++++++++++++++++++
    设置副本节点可读:在副本节点执行
    默认从库不可读不可写
    my_repl:SECONDARY>  rs.slaveOk()
    my_repl:SECONDARY> show tables
    system.keys
    system.version
    my_repl:SECONDARY> use app
    switched to db app
    
    查看副本节点(监控主从延时)
    my_repl:SECONDARY>  rs.printSlaveReplicationInfo()
    source: 10.0.1.51:28020
        syncedTo: Tue Jan 07 2020 17:49:56 GMT+0800 (CST)
        120 secs (0.03 hrs) behind the primary 
    
    OPlog日志(备份恢复章节)
    
    

    2. MongoDB Sharding Cluster 分片集群

    image.png

    config server
    存储集群所有节点配置信息、分片数据路由信息。默认需要配置3个configserver一主两从。
    mongos
    提供对外应用访问,使用路由的功能,所有操作均通过mongos执行。一般有多个mongos节点。
    shard
    数据节点,一个shard一般是一主两从实现高可用。

    2.1 规划

    10个实例:38017-38026
    (1)configserver:38018-38020
    3台构成的复制集(1主两从,不支持arbiter)38018-38020(复制集名字configsvr)
    (2)shard节点:
    sh1:38021-23    (1主两从,其中一个节点为arbiter,复制集名字sh1)
    sh2:38024-26    (1主两从,其中一个节点为arbiter,复制集名字sh2)
    (3) mongos:
    38017
    
    

    2.2 Shard节点配置过程

    2.2.1 目录创建:

    su - mongod
    mkdir -p /mongodb/38021/conf  /mongodb/38021/log  /mongodb/38021/data
    mkdir -p /mongodb/38022/conf  /mongodb/38022/log  /mongodb/38022/data
    mkdir -p /mongodb/38023/conf  /mongodb/38023/log  /mongodb/38023/data
    mkdir -p /mongodb/38024/conf  /mongodb/38024/log  /mongodb/38024/data
    mkdir -p /mongodb/38025/conf  /mongodb/38025/log  /mongodb/38025/data
    mkdir -p /mongodb/38026/conf  /mongodb/38026/log  /mongodb/38026/data
    
    

    2.2.2 修改配置文件:

    第一组复制集搭建:21-23(1主 1从 1Arb)

    cat >  /mongodb/38021/conf/mongodb.conf  <<EOF
    systemLog:
      destination: file
      path: /mongodb/38021/log/mongodb.log   
      logAppend: true
    storage:
      journal:
        enabled: true
      dbPath: /mongodb/38021/data
      directoryPerDB: true
      #engine: wiredTiger
      wiredTiger:
        engineConfig:
          cacheSizeGB: 1
          directoryForIndexes: true
        collectionConfig:
          blockCompressor: zlib
        indexConfig:
          prefixCompression: true
    net:
      bindIp: 10.0.1.51,127.0.0.1
      port: 38021
    replication:
      oplogSizeMB: 2048
      replSetName: sh1
    sharding:
      clusterRole: shardsvr
    processManagement: 
      fork: true
    EOF
    \cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/
    \cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/
    
    sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i
    sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i
    
    

    第二组节点:24-26(1主1从1Arb)

    cat > /mongodb/38024/conf/mongodb.conf <<EOF
    systemLog:
      destination: file
      path: /mongodb/38024/log/mongodb.log   
      logAppend: true
    storage:
      journal:
        enabled: true
      dbPath: /mongodb/38024/data
      directoryPerDB: true
      wiredTiger:
        engineConfig:
          cacheSizeGB: 1
          directoryForIndexes: true
        collectionConfig:
          blockCompressor: zlib
        indexConfig:
          prefixCompression: true
    net:
      bindIp: 10.0.1.51,127.0.0.1
      port: 38024
    replication:
      oplogSizeMB: 2048
      replSetName: sh2
    sharding:
      clusterRole: shardsvr
    processManagement: 
      fork: true
    EOF
    
    \cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/
    \cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/
    sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i
    sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i
    
    

    2.2.3 启动所有节点,并搭建复制集

    mongod -f  /mongodb/38021/conf/mongodb.conf 
    mongod -f  /mongodb/38022/conf/mongodb.conf 
    mongod -f  /mongodb/38023/conf/mongodb.conf 
    mongod -f  /mongodb/38024/conf/mongodb.conf 
    mongod -f  /mongodb/38025/conf/mongodb.conf 
    mongod -f  /mongodb/38026/conf/mongodb.conf  
    ps -ef |grep mongod
    
    mongo --port 38021
    use  admin
    config = {_id: 'sh1', members: [
                              {_id: 0, host: '10.0.1.51:38021'},
                              {_id: 1, host: '10.0.1.51:38022'},
                              {_id: 2, host: '10.0.1.51:38023',"arbiterOnly":true}]
               }
    
    rs.initiate(config)
    
     mongo --port 38024 
     use admin
    config = {_id: 'sh2', members: [
                              {_id: 0, host: '10.0.1.51:38024'},
                              {_id: 1, host: '10.0.1.51:38025'},
                              {_id: 2, host: '10.0.1.51:38026',"arbiterOnly":true}]
               }
    
    rs.initiate(config)
    
    

    2.3 config节点配置

    2.3.1 目录创建

    mkdir -p /mongodb/38018/conf  /mongodb/38018/log  /mongodb/38018/data
    mkdir -p /mongodb/38019/conf  /mongodb/38019/log  /mongodb/38019/data
    mkdir -p /mongodb/38020/conf  /mongodb/38020/log  /mongodb/38020/data
    
    

    2.3.2修改配置文件:

    cat > /mongodb/38018/conf/mongodb.conf <<EOF
    systemLog:
      destination: file
      path: /mongodb/38018/log/mongodb.conf
      logAppend: true
    storage:
      journal:
        enabled: true
      dbPath: /mongodb/38018/data
      directoryPerDB: true
      #engine: wiredTiger
      wiredTiger:
        engineConfig:
          cacheSizeGB: 1
          directoryForIndexes: true
        collectionConfig:
          blockCompressor: zlib
        indexConfig:
          prefixCompression: true
    net:
      bindIp: 10.0.1.51,127.0.0.1
      port: 38018
    replication:
      oplogSizeMB: 2048
      replSetName: configReplSet
    sharding:
      clusterRole: configsvr
    processManagement: 
      fork: true
    EOF
    
    \cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/
    \cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/
    sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i
    sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i
    
    

    2.3.3启动节点,并配置复制集

    mongod -f /mongodb/38018/conf/mongodb.conf 
    mongod -f /mongodb/38019/conf/mongodb.conf 
    mongod -f /mongodb/38020/conf/mongodb.conf 
    
    mongo --port 38018
    use  admin
     config = {_id: 'configReplSet', members: [
                              {_id: 0, host: '10.0.1.51:38018'},
                              {_id: 1, host: '10.0.1.51:38019'},
                              {_id: 2, host: '10.0.1.51:38020'}]
               }
    rs.initiate(config)  
    
    注:configserver 可以是一个节点,官方建议复制集。configserver不能有arbiter。
    新版本中,要求必须是复制集。
    注:mongodb 3.4之后,虽然要求config server为replica set,但是不支持arbiter
    
    

    2.4 mongos节点配置:

    2.4.1创建目录:

    mkdir -p /mongodb/38017/conf  /mongodb/38017/log 
    
    

    2.4.2配置文件:

    cat > /mongodb/38017/conf/mongos.conf <<EOF
    systemLog:
      destination: file
      path: /mongodb/38017/log/mongos.log
      logAppend: true
    net:
      bindIp: 10.0.1.51,127.0.0.1
      port: 38017
    sharding:
      configDB: configReplSet/10.0.0151:38018,10.0.1.51:38019,10.0.1.51:38020
    processManagement: 
      fork: true
    EOF
    
    

    2.4.3启动mongos

     mongos -f /mongodb/38017/conf/mongos.conf 
    
    

    2.5 分片集群添加节点

     连接到其中一个mongos(10.0.1.51),做以下配置
    (1)连接到mongs的admin数据库
    # su - mongod
    $ mongo 10.0.1.51:38017/admin
    (2)添加分片
    db.runCommand( { addshard : "sh1/10.0.1.51:38021,10.0.1.51:38022,10.0.1.51:38023",name:"shard1"} )
    db.runCommand( { addshard : "sh2/10.0.1.51:38024,10.0.1.51:38025,10.0.1.51:38026",name:"shard2"} )
    (3)列出分片
    mongos> db.runCommand( { listshards : 1 } )
    (4)整体状态查看
    mongos> sh.status();
    
    

    2.6 使用分片集群

    image.png
    image.png

    chunk默认64M

    2.6.1 RANGE分片配置及测试

    1、激活数据库分片功能

    mongo --port 38017 admin
    admin>  ( { enablesharding : "数据库名称" } )
    eg:
    admin> db.runCommand( { enablesharding : "test" } )
    
    

    2、指定分片键对集合分片

    ### 创建索引
    use test
    > db.vast.ensureIndex( { id: 1 } )
    ### 开启分片
    use admin
    > db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )
    
    

    3、集合分片验证

    admin> use test
    test> for(i=1;i<1000000;i++){db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }
    test> db.vast.stats()
    
    

    4、分片结果测试

    shard1:
    mongo --port 38021
    db.vast.count();
    
    shard2:
    mongo --port 38024
    db.vast.count();
    
    

    2.6.2 Hash分片例子:

    对oldboy库下的vast大表进行hash
    创建哈希索引
    (1)对于oldboy开启分片功能
    mongo --port 38017 admin
    use admin
    admin> db.runCommand( { enablesharding : "oldboy" } )
    (2)对于oldboy库下的vast表建立hash索引
    use oldboy
    oldboy> db.vast.ensureIndex( { id: "hashed" } )
    (3)开启分片 
    use admin
    admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )
    (4)录入10w行数据测试
    use oldboy
    for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzhen","age":70,"date":new Date()}); }
    (5)hash分片结果测试
    mongo --port 38021
    use oldboy
    db.vast.count();
    mongo --port 38024
    use oldboy
    db.vast.count();
    
    

    2.7 分片集群的查询及管理

    2.7.1 判断是否Shard集群

    admin> db.runCommand({ isdbgrid : 1})
    
    

    2.7.2 列出所有分片信息

    admin> db.runCommand({ listshards : 1})
    
    

    2.7.3 列出开启分片的数据库

    admin> use config
    config> db.databases.find( { "partitioned": true } )
    或者:
    config> db.databases.find() //列出所有数据库分片情况
    
    

    2.7.4 查看分片的片键

    config> db.collections.find().pretty()
    {
        "_id" : "test.vast",
        "lastmodEpoch" : ObjectId("58a599f19c898bbfb818b63c"),
        "lastmod" : ISODate("1970-02-19T17:02:47.296Z"),
        "dropped" : false,
        "key" : {
            "id" : 1
        },
        "unique" : false
    }
    
    

    2.7.5 查看分片的详细信息

    admin> sh.status()
    
    

    2.7.6 删除分片节点(谨慎)

    (1)确认blance是否在工作
    sh.getBalancerState()
    (2)删除shard2节点(谨慎)
    mongos> db.runCommand( { removeShard: "shard2" } )
    注意:删除操作一定会立即触发blancer。
    
    

    2.8 balancer操作

    2.8.1 介绍

    mongos的一个重要功能,自动巡查所有shard节点上的chunk的情况,自动做chunk迁移。
    什么时候工作?
    1、自动运行,会检测系统不繁忙的时候做迁移
    2、在做节点删除的时候,立即开始迁移工作
    3、balancer只能在预设定的时间窗口内运行
    
    有需要时可以关闭和开启blancer(备份的时候)
    mongos> sh.stopBalancer()
    mongos> sh.startBalancer()
    备份尽量关闭balancer因为balancer会进行chunk迁移,影响数据一致性。
    
    

    2.8.2 自定义 自动平衡进行的时间段

    https://docs.mongodb.com/manual/tutorial/manage-sharded-cluster-balancer/#schedule-the-balancing-window
    // connect to mongos
    
    use config
    sh.setBalancerState( true )
    db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )
    
    sh.getBalancerWindow()
    sh.status()
    
    关于集合的balancer(了解下)
    关闭某个集合的balance
    sh.disableBalancing("students.grades")
    打开某个集合的balancer
    sh.enableBalancing("students.grades")
    确定某个集合的balance是开启或者关闭
    db.getSiblingDB("config").collections.findOne({_id : "students.grades"}).noBalance;
    
    

    相关文章

      网友评论

          本文标题:mongodb集群--复制集RS--分布式

          本文链接:https://www.haomeiwen.com/subject/omoooctx.html