美文网首页
ES系列7-ElasticSearch读写流程

ES系列7-ElasticSearch读写流程

作者: 只是甲 | 来源:发表于2022-03-22 10:29 被阅读0次

一. 数据写流程

新建、索引和删除请求都是写操作, 必须在主分片上面完成之后才能被复制到相关的副本分片。

image.png

在客户端收到成功响应时,文档变更已经在主分片和所有副本分片执行完成,变更是安全的。有一些可选的请求参数允许您影响这个过程,可能以数据安全为代价提升性能。这些选项很少使用,因为 Elasticsearch 已经很快,但是为了完整起见, 请参考下文。

1.1 consistency

即一致性。在默认设置下,即使仅仅是在试图执行一个写操作之前,主分片都会要求必须要有规定数量quorum(或者换种说法,也即必须要有大多数)的分片副本处于活跃可用状态,才会去执行写操作(其中分片副本 可以是主分片或者副本分片)。这是为了避免在发生网络分区故障(network partition)的时候进行写操作,进而导致数据不一致。 规定数量即: int((primary + number_of_replicas) / 2 ) + 1

consistency 参数的值可以设为:

  1. one :只要主分片状态 ok 就允许执行写操作。
  2. all:必须要主分片和所有副本分片的状态没问题才允许执行写操作。
  3. quorum:默认值为quorum , 即大多数的分片副本状态没问题就允许执行写操作。

注意,规定数量的计算公式中number_of_replicas指的是在索引设置中的设定副本分片数,而不是指当前处理活动状态的副本分片数。如果你的索引设置中指定了当前索引拥有3个副本分片,那规定数量的计算结果即:int((1 primary + 3 replicas) / 2) + 1 = 3,如果此时你只启动两个节点,那么处于活跃状态的分片副本数量就达不到规定数量,也因此您将无法索引和删除任何文档。

1.2 timeout

如果没有足够的副本分片会发生什么?Elasticsearch 会等待,希望更多的分片出现。默认情况下,它最多等待 1 分钟。 如果你需要,你可以使用timeout参数使它更早终止:100是100 毫秒,30s是30秒。

新索引默认有1个副本分片,这意味着为满足规定数量应该需要两个活动的分片副本。 但是,这些默认的设置会阻止我们在单一节点上做任何事情。为了避免这个问题,要求只有当number_of_replicas 大于1的时候,规定数量才会执行。

二. 数据读流程

image.png

在处理读取请求时,协调结点在每次请求的时候都会通过轮询所有的副本分片来达到负载均衡。在文档被检索时,已经被索引的文档可能已经存在于主分片上但是还没有复制到副本分片。 在这种情况下,副本分片可能会报告文档不存在,但是主分片可能成功返回文档。 一旦索引请求成功返回给用户,文档在主分片和副本分片都是可用的。

相关文章

  • ES系列7-ElasticSearch读写流程

    一. 数据写流程 新建、索引和删除请求都是写操作, 必须在主分片上面完成之后才能被复制到相关的副本分片。 在客户端...

  • es读优化

    es搜索数据 es搜索数据流程 es读写流程示意图 分布式搜索示意图image.png es的几种搜索类型 QUE...

  • ES节点类型和读写流程

    1. ElasticSearch节点类型 1.1 master node 职责: 处理创建,删除索引等请求 / 决...

  • 案例 02、OpenGL入门--正方形键位控制

    OpenGL + OpenGL ES +Metal 系列文章汇总 效果图如下所示: 整体的流程图如下 主要需要实现...

  • Es原理分析

    Es数据存储模型 Es读写模型 感谢:《Elasticsearch源码解析与优化实战》-张超

  • Spark读写ES调优记录

    使用spark读写es可以使用ES提供的包,es提供了对hadoop,spark等大数据组件的包,es-spark...

  • Hadoop学习2

    HDFS读写流程 写的流程: MapReduce运行流程 WordCount案例 WordCount程序演示 创建...

  • 学习OpenGL ES之绘制更多的图形

    本系列所有文章目录 获取示例代码 前面几篇文章介绍了基本的OpenGL ES绘制流程和Shader的基本语法。本文...

  • 一、了解 OpenGL ES

    OpenGL + OpenGL ES +Metal 系列文章汇总 OpenGL ES OpenGL ES是Open...

  • spark读写ES

    所有测试代码全部基于scala,构建工具基于sbt build.sbt依赖 spark-sql读写ES spark...

网友评论

      本文标题:ES系列7-ElasticSearch读写流程

      本文链接:https://www.haomeiwen.com/subject/efjolrtx.html