美文网首页ElasticSearch
1.18 机器学习配置

1.18 机器学习配置

作者: ElasticSearch文档 | 来源:发表于2024-05-14 15:39 被阅读0次

您无需配置任何设置即可使用机器学习。它默认启用。

机器学习使用SSE4.2指令,因此仅在支持SSE4.2的机器上运行。如果您在较旧的硬件上运行Elasticsearch,必须禁用机器学习(通过将xpack.ml.enabled设置为false)。

常规机器学习设置

node.roles: [ ml ]
(静态)设置node.roles包含ml,以标识节点为机器学习节点。如果要运行机器学习作业,集群中必须至少有一个机器学习节点。

如果设置了node.roles,必须明确指定节点的所有必需角色。有关更多信息,请参见Node。

在专用的协调节点或专用的主节点上,请勿设置ml角色。
强烈建议专用的机器学习节点还具有remote_cluster_client角色;否则,在机器学习作业或数据feed中使用跨集群搜索时将失败。请参见Remote-eligible node。
xpack.ml.enabled
(静态)默认值(true)在节点上启用机器学习API。

如果要在集群中使用机器学习功能,则建议在所有节点上使用此设置的默认值。

如果设置为false,则在节点上禁用机器学习API。例如,节点无法打开作业,启动数据feeds,接收与机器学习API相关的传输(内部)通信请求或来自客户端(包括Kibana)的请求。

xpack.ml.inference_model.cache_size
(静态)允许的最大推断缓存大小。推断缓存存在于每个摄入节点的JVM堆中。缓存为推断处理器提供更快的处理时间。该值可以是静态字节大小的值(例如2GB),也可以是总分配堆的百分比。默认为40%。另请参见机器学习断路器设置。
xpack.ml.inference_model.time_to_live
(静态)推断模型缓存中训练模型的生存时间(TTL)。TTL是从上次访问计算的。缓存的用户(例如推断处理器或推断聚合器)在首次使用模型时缓存模型,并在每次使用时重置TTL。如果在TTL的持续时间内未访问缓存的模型,则将其标记为从缓存中逐出。如果稍后处理文档,则再次将模型加载到缓存中。要在Elasticsearch服务中更新此设置,请参见添加Elasticsearch用户设置。默认为5分钟。
xpack.ml.max_inference_processors
(动态)允许跨所有摄入流水线的推断类型处理器的总数。一旦达到限制,将禁止将推断处理器添加到流水线中。默认为50。
xpack.ml.max_machine_memory_percent
(动态)机器学习可用于运行分析进程的机器内存的最大百分比。这些进程是独立于Elasticsearch JVM的。限制基于机器的总内存,而不是当前的可用内存。如果分配作业会导致机器学习作业的估计内存使用超过限制,则不会将作业分配给节点。启用操作员特权功能时,只有操作员用户才能更新此设置。最小值为5;最大值为200。默认为30。

除非您有足够的交换空间来容纳它,并确定这是专业用例的适当配置,否则不要将此设置配置为高于运行Elasticsearch JVM后剩余内存的值。最大设置值适用于已确定使用交换空间进行机器学习作业是可接受的特殊情况。一般最佳做法是不在Elasticsearch节点上使用交换。

xpack.ml.max_model_memory_limit
(动态)可以为此集群中的任何机器学习作业设置的最大model_memory_limit属性值。如果尝试使用大于此设置值的model_memory_limit属性值创建作业,则会发生错误。更新此设置时,不会影响现有作业。如果此设置为0或未设置,则没有最大model_memory_limit值。如果没有节点符合作业的内存要求,缺乏最大内存限制的意味着可能创建无法分配给任何可用节点的作业。有关model_memory_limit属性的更多信息,请参见创建异常检测作业或创建数据帧分析作业。如果xpack.ml.use_auto_machine_memory_percent为false,则默认为0。如果xpack.ml.use_auto_machine_memory_percent为true并且未显式设置xpack.ml.max_model_memory_limit,则它将默认为集群中可以分配的最大model_memory_limit。
xpack.ml.max_open_jobs
(动态)节点上可以同时运行的作业的最大数量。在此上下文中,作业包括异常检测作业和数据帧分析作业。作业的估计内存使用也受到内存使用的限制。因此,如果作业的估计内存使用高于允许的限制,节点上将运行较少的作业。在版本7.1之前,此设置是每个节点的非动态设置。它在版本7.1中成为集群范围的动态设置。因此,节点启动后对其值的更改仅在集群中的每个节点都运行版本7.1或更高版本时才会使用。最小值为1;最大值为512。默认为512。
xpack.ml.nightly_maintenance_requests_per_second
(动态)夜间维护任务删除过期模型快照和结果的速率。该设置是用于delete by query请求中使用的requests_per_second参数的代理,并

控制节流。启用操作员特权功能时,只有操作员用户才能更新此设置。有效值必须大于0.0或等于-1.0,其中-1.0表示使用默认值。默认为-1.0
xpack.ml.node_concurrent_job_allocations
(动态)每个节点上可以同时处于打开状态的作业的最大数量。通常,作业在转到打开状态之前会花费很少的时间。在打开时必须还原大型模型的作业在打开时花费更多的时间。启用操作员特权功能时,默认为2。

高级机器学习设置

这些设置适用于高级用例;默认值通常足够:

xpack.ml.enable_config_migration
(动态)保留。启用操作员特权功能时,只有操作员用户才能更新此设置。
xpack.ml.max_anomaly_records
(动态)每个桶输出的记录数的最大值。默认为500。
xpack.ml.max_lazy_ml_nodes
(动态)懒惰地启动的机器学习节点的数量。在机器学习节点在第一个机器学习作业打开之前不需要的情况下很有用。如果当前的机器学习节点数量大于或等于此设置,则假定没有更多的可用的惰性节点,因为已经预配了所需数量的节点。如果打开了作业,并且此设置的值大于零,并且没有节点可以接受该作业,则该作业将保持在OPENING状态,直到向集群添加新的机器学习节点,并将该作业分配到该节点上运行。启用操作员特权功能时,默认为0。

此设置假定某个外部进程能够向集群添加机器学习节点。此设置仅在与此类外部进程结合使用时才有用。

xpack.ml.max_ml_node_size
(动态)在支持自动集群缩放的部署中,用于机器学习节点的最大节点大小。如果将其设置为未来机器学习节点的最大可能大小,当将机器学习作业分配给惰性节点时,它可以检查(并快速失败),以便在缩放不支持作业大小时。启用操作员特权功能时,默认为0b,这意味着将假定自动集群缩放可以向集群添加任意大的节点。
xpack.ml.model_repository
(动态)机器学习模型存储库的位置,在模型安装受限或关闭网络的情况下,模型工件文件可用。xpack.ml.model_repository可以是文件位置的字符串或HTTP/HTTPS服务器。示例值包括:

xpack.ml.model_repository: file://${path.home}/config/models/

xpack.ml.model_repository: https://my-custom-backend
如果xpack.ml.model_repository是文件位置,则它必须指向Elasticsearch配置目录的子目录。

xpack.ml.persist_results_max_retries
(动态)重试在处理机器学习结果时失败的批量索引请求的最大次数。如果达到限制,则机器学习作业停止处理数据,并且其状态为失败。启用操作员特权功能时,只有操作员用户才能更新此设置。最小值为0;最大值为50。默认为20。
xpack.ml.process_connect_timeout
(动态)运行与Elasticsearch JVM分开的机器学习进程的连接超时。当启动此类进程时,它们必须连接到Elasticsearch JVM。如果在此设置指定的时间段内进程未连接,则假定该进程已失败。启用操作员特权功能时,只有操作员用户才能更新此设置。最小值为5秒。默认为10秒。
xpack.ml.use_auto_machine_memory_percent
(动态)如果此设置为true,则将忽略xpack.ml.max_machine_memory_percent设置。相反,将自动计算机器学习分析进程可用于使用的机器内存的最大百分比,并考虑节点的总大小和节点上JVM的大小。启用操作员特权功能时,只有操作员用户才能更新此设置。默认值为false。

如果没有专用的机器学习节点(即节点具有多个角色),请不要启用此设置。其计算假定机器学习分析是节点的主要目的。
计算假定专用的机器学习节点至少有256MB内存在JVM之外保留。如果在集群中有微小的机器学习节点,则不应使用此设置。
如果此设置为true,它还会影响xpack.ml.max_model_memory_limit的默认值。在这种情况下,xpack.ml.max_model_memory_limit默认为当前集群中可以分配的最大大小。

机器学习断路器设置

有关相关断路器设置,请参见断路器页面。

相关文章

  • 机器学习之CUDA安装

    用于机器学习的主机配置好啦(具体配置参见机器学习之攒机指南),接下来就是安装操作系统以及CUDA环境了。 机器学习...

  • Udacity ML 随笔 *

    开始时间:2018.3.30 部分1 欢迎学习机器学习 2018.3.30 机器学习简介、配置Anaconda、配...

  • 2018-11-12Pyspark win环境配置参考

    Anaconda中配置Pyspark的Spark开发环境 Spark搭建机器学习系统 Spark机器学习 win+...

  • 开始配置tensorflow

    早早就学完了《机器学习》和《深度学习》,今天开始在本地配置tensorflow,结果各种毛病,各种配置不上… 趁着...

  • ssh 快捷登录

    效果 登录阿里云 机器 本地机器:macOS远程机器:120.25.83.123 配置 本地配置 远程配置 本地快...

  • elasticsearch docker 配置安装

    安装准备 1. 机器环境配置 | 机器 | 环境 |配置| ------------ | ----------...

  • Mac 10.13 安装 Python-3.6.8 和 IPyt

    机器学习的作业要求 Python-3.6 的环境,记录下配置 mac 的配置过程。 一、安装 Python-3.6...

  • 机器学习 - 环境配置、工具

    机器学习中我们会碰到很多 python 库和软件,还有环境设置,这里集中记录一下,本文涉及以下内容: 明确机器中会...

  • 机器学习-python环境配置

    折腾了半天,终于配置好了可以运行通过的机器学习运行环境。 一、软件安装 安装anaconda环境,anaconda...

  • 2019-01-18

    1.18 12.29~1.18 这些天,我想我会记住很久,毕竟这是自认为大学三年来复习战线最长,学习最认真的时刻。...

网友评论

    本文标题:1.18 机器学习配置

    本文链接:https://www.haomeiwen.com/subject/ahimfjtx.html