美文网首页
【es】为什么ES和Doris、Kafka等存储都需要调大系统v

【es】为什么ES和Doris、Kafka等存储都需要调大系统v

作者: Bogon | 来源:发表于2023-08-05 19:04 被阅读0次

vm.max_map_count限制一个进程可以拥有的VMA(虚拟内存区域)的数量,而不是限制进程的可使用内存大小,默认值65535。如部署ES[3]时需要调整到262144,而部署Doris或StarRocks时需要调整到2000000。

这些存储系统使用MMAP(内存映射),能减少用户态与内核态之间的数据拷贝,用内存读取取代I/O读取,提高文件读取效率,如读文件的简易逻辑图如下,如果vm.max_map_count值太小,容易出现内存溢出。

存储服务为什么要调整vm.max_map_count值?

https://mp.weixin.qq.com/s/yE1nuYiOpBA6LHARYk7rEg

相关文章

  • EGL 初始化流程

    Android 平台上,在调用OpenGL ES API 之前,需要在初始化EGL 。之后 OpenGL ES 调...

  • ELK部署小结

    采用ELK+Kafka+filebeat方式部署,非规模系统,所以仅仅进行了单点部署,没有搭建ES/KAFKA集群...

  • Jaeger环境搭建

    问题 搭建Jaeger开发环境,存储使用的ES,期望ES需要有安全配置且在容器中运行。 解决思路 ES安全保护有两...

  • Elasticsearch精学笔记(二)

    三、ES数据操作 1. ES的数据体ES中的文档存储的是序列化后的JSON数据;ES都基于JSON结构体进行请求和...

  • Centos 7 部署 Kibana +elasticsear

    导入配置环境变量 创建es 账号 设置数据目录权限 修改系统参数 安装es 修改jvm 启动es 需要进入普通账号...

  • 第六章(nk)

    6.1 ES入门 要使用ES进行搜索,数据需要在ES里面再存储一份。可以将其是一种特殊的数据库。 索引,类型,文档...

  • elasticsearch Dsl、 Elasticsearch

    ES是什么elasticsearch简写es,es是一个高扩展、开源的全文检索和分析引擎,它可以准实时地快速存储、...

  • es数据库

    es是什么 elasticsearch简写es,es是一个高扩展、开源的全文检索和分析引擎,它可以准实时地快速存储...

  • 架构成长之路:Kafka设计原理看了又忘,忘了又看?一文让你掌握

    今天,我将围绕如下几个问题进行分享: 为什么需要消息系统? Kafka 架构原理? Kafka 如何存储消息? P...

  • 关于react中es5和es6写法中的this

    es5的代码: es6的代码: 问题:为什么es5写法中的onclick事件的处理函数不需要绑定this,但是es...

网友评论

      本文标题:【es】为什么ES和Doris、Kafka等存储都需要调大系统v

      本文链接:https://www.haomeiwen.com/subject/lqbredtx.html