mongo 分片集群

作者: 阿兵云原生 | 来源:发表于2022-11-27 22:38 被阅读0次

之前说到了主从集群,关于主从集群的搭建以及细节后面会再次分享,这次我们先初步来看看 分片集群

举个例子

例如我们有几百G甚至更多的数据,可是我们只有单个副本集,数据量这么大,网络 IO ,CPU ,内存占用 消耗都会非常的大,一个集群可能吃不消

那么我们可以分片 , 分片也就是分而治之

分片

分片,分为

  • 垂直分布

可以提高集群节点的性能,但是这个方式是有瓶颈的,例如我们一台服务器,内存占用较高,我们可以通过增加服务器的内存在处理

  • 水平分布

例如我们的服务器,内存占用较高,我们可以增加服务器的数量,增加集群的数量,这样服务器一多,维护成本也就线性增加,性能也是线性提升的

实际情况下,如果我们的数据增长非常大,那么肯定会有冷热数据的区分,对于冷数据,我们可以将数据放到差一些的服务器,很少会用到查询操作或者写操作,对于热点高频数据,我们就可以放到高性能的服务器上面,且要做好扩展

为什么要用分片集群?

我们为什么要使用分片集群呢?还是因为数据量太大,需要我们分成一小块一小块的分别来处理,这样才得以解决数据量大的问题

分片集群就是 Mongdb 在多台计算机之间分配数据的集群部署方式

通过上面的例子我们可以知道,就是可以将大型的数据,进行区分成相对更小并且易于管理的小片,将这些数据片分给不同的 mongodb 节点,这些节点,就组成了分片集群

对于分片集群,我们需要熟悉一下如下角色:

image

Router 路由器:

路由器,这里是 mongos 服务,当做是一个路由器,在客户端程序需要分片的时候可以提供接口

Shard 分片:

每个 Shard 分片包含共享数据的子集,每个Shard 分片是可以部署主从集群的,所以,分片集群,其实就是多个主从集群

config server 配置服务:

配置服务存储集群的元数据和具体的配置设置,mongodb 逐步发展,必须要将配置服务部署为副本集了,这个是 mongodb 3.4 版本开始的

为什么要把 mongos 放到客户端?

  • 可以较少网络开销,例如分片在别的网络上面的时候,若客户端想要做路由,mongos 就在本地,那么在本地就可以完成路由,如果 mongos 在服务端,那么就多出相互通信的数据包,增加网络开销

  • 如果 config server 的配置发生改变了,一般的情况下,是需要通过我们的 mongos 来进行修改的,修改后需要重新加载数据

    而不是我们登陆到某一个 config server 上修改数据,这样会造成数据混乱,不能这样干

今天暂时了解一下基本的知识点,下一次我们一起来搭建一下 mongodb 的集群,以及部署中可能会遇到的坑

学习所得,若有偏差,还请斧正

欢迎点赞,关注,收藏

朋友们,你的支持和鼓励,是我坚持分享,提高质量的动力

image

好了,本次就到这里

技术是开放的,我们的心态,更应是开放的。拥抱变化,向阳而生,努力向前行。

我是阿兵云原生,欢迎点赞关注收藏,下次见~

相关文章

  • mongo 分片集群

    之前说到了主从集群,关于主从集群的搭建以及细节后面会再次分享,这次我们先初步来看看 分片集群 举个例子 例如我们有...

  • docker搭建mongo分片集群(docker-compose

    本文是对上一篇文章(docker搭建mongo分片集群)的进一步整理,简化mongdb分片集群的配置docker-...

  • MongoDB 分片

    分片 在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求。 当Mongo...

  • docker搭建mongo分片集群

    文章来源:https://www.cnblogs.com/jay54520/p/8444218.html仅做个人记...

  • mongo分片集群搭建笔记

    在这此前建议先了解一下mongo的片键概念,结合自己的业务关系确定一个合适的片键,才能更好的发挥集群的作用。 进入...

  • 在python中连接MongoDB集群(MongoDB Clus

    建立了一个mongo集群,有3个节点,分别为:mongo-1mongo-2mongo-3 mongo集群没有提供类...

  • MongoDB 存储引擎

    简单回顾 上次我们说到了关于 mongodb 的集群,分为主从集群和分片集群,对于分片集群中的分片这里需要注意如下...

  • Mongo分片

    目录 概念 搭建分片服务配置服务路由服务 配置 测试 概念 分片动机 = 分布式水平扩展 最小分片 = 1路由服务...

  • mongo分片

    第1章 分片的概念 第2章 分片涉及到的名词 第3章 分片的分类 1.区间片键 如果以id作为片键: 如果以hos...

  • MongoDB权威指南学习笔记(3)--复制和分片

    Mongo 复制和分片 创建副本集 建立副本集 使用mongo --nodb选项启动mongo shell,启动s...

网友评论

    本文标题:mongo 分片集群

    本文链接:https://www.haomeiwen.com/subject/pdchfdtx.html