美文网首页
分片集群中的分片集合

分片集群中的分片集合

作者: 阿兵云原生 | 来源:发表于2022-12-04 23:04 被阅读0次

分片集群中的分片集合

MongoDB 中 分片集群有专门推荐的模式,例如 分片集合

它是一种基于分片键的逻辑对文档进行分组,分片键的选择对分片是非常重要的,分片键一旦确定,MongoDB 对数据的分片对应用是透明的

mongodb 分片中,有一个概念叫做数据块,默认一个数据块是 64 M ,这个也是可以配置的

他在 mongodb 中的 地位是这个样子的:

image

mongos 会将数据发送到 数据块中,实际上是 1 个 shard 分片对应多个数据块,也可以不对应数据块

例如上图,当一个数据块变大的时候,就会分成 2 个,慢慢的若数据块的数量多到一定的程度,就会发生快的迁移,识别和处理这个事情,都是平衡器进行处理的,例如

image

在数据块迁移的过程中,mogos 发送数据的方向还是不会变的,迁移的过程中,原来的数据块会先复制一个副本作为接收数据,实际的数据块继续迁移

例如块的迁移会有这样的规律:

  • 在块的个数,对比之后相差 1-20个,则会依次迁移 2 个

  • 若是 20 - 80 个,则会一次迁移 4 个

  • 若是 80 -无限多个,则会一次迁移 8 个

迁移的过程中,块的大小,块的数量都会影响我们分片集群的性能,

  • 若块的大小超过了我们的默认值,就需要拆,这就会影响性能

  • 搬迁的时候,对于网络资源的消耗 和 CPU 则会有影响

image

当搬迁完毕之后,相应数据块所在的分片就会通知 config server 更新配置,且原来复制的副本也会被删掉,此处 mogos 发送的数据,就会往新的一边进行发送

统一将上述涉及到的知识点梳理一下:

上述说到的分片集合,是因为数据量会越来越大,那么分片就会随之发生切割,和迁移的动作,这是为了满足在 mongodb 里面进行均匀分布

  • mogos 是会进行请求分流

是通过路由节点来将不同的请求分发到不同的分片和块中

  • 数据也是会分流

数据分流,主要还是说数据均匀分布,内部有一个平衡器进行保证

  • 块何时会拆分呢?

默认的快大小是 64 M,若我们的块数据超过这个值就会触发拆分

  • 数据块迁移什么时候会触发?

迁移的目的还是为了分片在集群中均匀分布,所以数据块会发生迁移,一般是在集群中分片相差 8 个分块的时候,就会触发数据块迁移的动作

今天就到这里,学习所得,若有偏差,还请斧正

欢迎点赞,关注,收藏

朋友们,你的支持和鼓励,是我坚持分享,提高质量的动力

image

好了,本次就到这里

技术是开放的,我们的心态,更应是开放的。拥抱变化,向阳而生,努力向前行。

我是阿兵云原生,欢迎点赞关注收藏,下次见~

相关文章

  • 分片集群中的分片集合

    分片集群中的分片集合 MongoDB 中 分片集群有专门推荐的模式,例如 分片集合 它是一种基于分片键的逻辑对文档...

  • MongoDB 存储引擎

    简单回顾 上次我们说到了关于 mongodb 的集群,分为主从集群和分片集群,对于分片集群中的分片这里需要注意如下...

  • MongoDB分片集群搭建

    本文主要介绍了mongoDB分片集群概念,以及分片集群搭建过程,方便下次参考。 概念 分片(sharding)是一...

  • Mongodb分片集群搭建

    MongoDb分片集群搭建 基于mongodb3.6 分片集群的权限控制 Brief: 内部通过keyfile控制...

  • elasticsearch-基本查询API语法整理

    常用查询 关闭服务 查询集群健康 修改复制分片的数量 创建索引并设置分片数 计算集群中的文档数量 添加 修改 删除...

  • 【ES】ElasticSearch 深入分片

    @[toc] 一、分片介绍 分片是 Elasticsearch 在集群中分发数据的关键。 把分片想象成数据的容器。...

  • Jedis路由key的算法剥离

    在Redis集群中,会有很多个分片,如果此时利用Jedis来操作此Redis集群,那么他会把数据路由到不到的分片上...

  • ES原理之集群启动流程

    目录 启动流程选举主节点选举集群元信息allocation 过程主分片副分片index recovery主分片 r...

  • 【mongoDB】mongoDB 3.x 分片集群,将分片数据平

    一、背景 某个mongoDB 分片集群,有2个分片 shard01 和 shard02 ,每个分片复制集为 主-从...

  • ElasticSearch分片未分配 Unassigned

    查看未分配的分片 查看分片未分配原因 打开集群分片再分配开关,默认开启 参考链接:https://www.data...

网友评论

      本文标题:分片集群中的分片集合

      本文链接:https://www.haomeiwen.com/subject/ilvmfdtx.html