1. Es对复杂分布式机制的透明隐藏特性
es是一套分布式机系统,分布式是为了应对大数据量
隐藏复杂的分布式机制
-
分片:将数据直接插入到es中,没有关注数据是怎么分片的,数据到那个shard中
-
cluster discovery:集群发现机制,当启动机器时,改节点会自动加入到配置文件配置的集群中,进程中的node节点自动发现了集群,还接收到了replica shard数据
-
shard 负载均衡:比如有3个节点,总共有25个shard分配到3个节点,es会自动进行均匀分配,以保持每个节点的均衡的读写负载请求
-
shard 副本:
-
请求路由:
-
集群扩容:
-
shard重分配
2. es扩容机制
6台服务器,每台容纳1T数据,马上数据要增加到8T,这时候有两个方案。
- 垂直扩容:重新购置两台服务器,每台服务器的容量是2T,替换到老的两台服务器,那么现在6台服务器的总容量就是41T+2*2T=8T
- 水平扩容:新购置两台服务器,每台服务器的容量是1T,直接加入到集群中,那么现在服务器的总容量就是1*8T=8T
一般采用水平扩容方案。
3. 增加减少节点触发rebalanse
保持负载均衡。
4. master节点
- 管理es集群的元数据:比如索引的创建和删除,维护索引的元数据,节点的增加和移除,维护集群的元数据
- 默认情况下,会自动选择出一台节点,作为master节点
- master节点不会承载所有的请求,所以不会是一个单点瓶颈
5. 节点对等的分布式架构
- 节点对等:每个节点都能接受所有的请求
- 自动路由请求:接受到请求的节点,会将请求路由的相关节点
- 响应收集:原始请求的会最终响应请求
网友评论