美文网首页ElasticSearch
14. 断路器设置

14. 断路器设置

作者: ElasticSearch文档 | 来源:发表于2023-12-05 20:51 被阅读0次

    Elasticsearch包含多个电路断路器,用于防止操作导致OutOfMemoryError。每个断路器都指定了它可以使用多少内存的限制。此外,还有一个父级断路器,指定了所有断路器可以使用的总内存量。

    除非另有说明,这些设置可以通过cluster-update-settings API在运行中的群集上进行动态更新。

    有关电路断路器错误的信息,请参阅电路断路器错误。

    父级断路器

    父级断路器可以通过以下设置进行配置:

    • indices.breaker.total.use_real_memory
      (静态)确定父断路器是否应考虑实际内存使用情况(true),还是仅考虑子断路器保留的内存量(false)。默认为true。
    • indices.breaker.total.limit logo cloud
      (动态)整体父断路器的初始限制。如果 indices.breaker.total.use_real_memory 为false,默认为JVM堆的70%。如果 indices.breaker.total.use_real_memory 为true,默认为JVM堆的95%。
    Field data circuit breaker

    和doc_values不同的是fielddata使用的是JVM的堆内存(doc_values使用的是堆外内存),而且是常驻内存。所以如果不加控制很容易导致Java的OOM,因此es有个断路器的设置,计算这次会超出阈值的时候就会发生熔断,抛出类似 [fielddata] Data too large, data for [_id] would be [7267783454/6.7gb], which is larger than the limit of [6871947673/6.3gb] 的错误

    字段数据断路器估算将字段加载到字段数据缓存中所需的堆内存。如果加载字段将导致缓存超过预定义的内存限制,则断路器会停止操作并返回错误。

    • indices.breaker.fielddata.limit logo cloud
      (动态)fielddata断路器的限制。默认为JVM堆的40%。
    • indices.breaker.fielddata.overhead logo cloud
      (动态)所有字段数据估算都要乘以该常量,以确定最终估算。默认为1.03。
    请求断路器

    请求断路器允许Elasticsearch防止每个请求的数据结构(例如,在请求期间用于计算聚合的内存)超过一定数量的内存。

    • indices.breaker.request.limit logo cloud
      (动态)请求断路器的限制,默认为JVM堆的60%。
    • indices.breaker.request.overhead logo cloud
      (动态)所有请求估算都要乘以该常量,以确定最终估算。默认为1。
    正在进行的请求断路器

    正在进行的请求断路器允许Elasticsearch限制所有当前活动的传入请求在节点上的内存使用量,以防超过一定数量的内存。内存使用量基于请求本身的内容长度。此断路器还考虑到内存不仅需要用于表示原始请求,还需要用于表示由默认开销反映的结构化对象。

    • network.breaker.inflight_requests.limit
      (动态)正在进行的请求断路器的限制,默认为JVM堆的100%。这意味着它受到为父断路器配置的限制的约束。
    • network.breaker.inflight_requests.overhead
      (动态)所有正在进行的请求估算都要乘以该常量,以确定最终估算。默认为2。

    会计请求断路器

    会计断路器允许Elasticsearch限制在内存中保留的在请求完成时未释放的内容的内存使用量。这包括诸如Lucene段内存之类的内容。

    • indices.breaker.accounting.limit
      (动态)会计断路器的限制,默认为JVM堆的100%。这意味着它受到为父断路器配置的限制的约束。
    • indices.breaker.accounting.overhead
      (动态)所有会计估算都要乘以该常量,以确定最终估算。默认为1
    脚本编译断路器

    与先前基于内存的断路器略有不同,脚本编译断路器限制了一定时间内内联脚本编译的次数。

    有关更多信息,请参见脚本文档的“prefer-parameters”部分。

    • script.max_compilations_rate
      (动态)在一定时间内允许编译的唯一动态脚本数量的限制。默认为150/5m,表示每5分钟150个。
    EQL断路器

    执行序列查询时,处理查询的节点需要保留一些结构在内存中,这些结构是由实现序列匹配的算法所需的。当需要处理大量数据和/或用户通过设置size查询参数请求大量匹配的序列时,这些结构占用的内存可能会超过JVM的可用内存。这将导致OutOfMemory异常,从而使节点宕机。

    为了防止这种情况发生,使用了一个特殊的断路器,该断路器在执行序列查询期间限制内存分配。当触发断路器时,将抛出一个org.elasticsearch.common.breaker.CircuitBreakingException,并向用户返回一个描述性错误消息。

    可以使用以下设置配置此断路器:

    • breaker.eql_sequence.limit
      (动态)用于限制执行EQL序列查询期间内存利用的断路器的限制。此值定义为JVM堆的百分比。默认为50%。如果父断路器设置为小于50%的值,则此设置将使用该值作为其默认值。
    • breaker.eql_sequence.overhead
      (动态)序列查询内存估算都要乘以该常数,以确定最终估算。默认为1。
    • breaker.eql_sequence.type
      (静态)断路器类型。有效值为:
      • memory(默认)
        该断路器限制EQL序列查询的内存使用。
      • noop
        禁用断路器。
    机器学习断路器
    • breaker.model_inference.limit
      (动态)训练模型断路器的限制。此值定义为JVM堆的百分比。默认为50%。如果父断路器设置为小于50%的值,则此设置将使用该值作为其默认值。
    • breaker.model_inference.overhead
      (动态)所有训练模型估算都要乘以该常数,以确定最终估算。请参阅断路器设置。默认为1。
    • breaker.model_inference.type
      (静态)断路器的基础类型。有两个有效选项:noop和memory。noop表示断路器不采取任何措施防止过多的内存使用。memory表示断路器跟踪由训练模型使用的内存,可能会中断并防止OutOfMemory错误。默认值为memory。

    相关文章

      网友评论

        本文标题:14. 断路器设置

        本文链接:https://www.haomeiwen.com/subject/livdgdtx.html