美文网首页ELK
40.冷热集群搭建及使用实践

40.冷热集群搭建及使用实践

作者: 大勇任卷舒 | 来源:发表于2022-06-30 09:36 被阅读0次

    40.1 集群规格选型

    • 根据业务数据量及读写性能要求选择合适的冷热节点规格
      • 副本数量:副本有利于增加数据的可靠性,但同时会增加存储成本
      • 数据膨胀:除原始数据外,ES 需要存储索引、列数据等,在应用编码压缩等技术后,一般膨胀10%
      • 内部任务开销:ES 占用约20%的磁盘空间,用于 segment 合并、ES Translog、日志等。
      • 操作系统预留:Linux 操作系统默认为 root 用户预留5%的磁盘空间,用于关键流程处理、系统恢复、防止磁盘碎片化问题等。
      • 预留空间:为保证集群的正常运行建议预留50%的存储空间
    • 存储量计算:
      • 根据冷热数据各自数据量及要求保留时间,计算出冷热数据源数据量,然后使用如下公式计算出
      • 冷热节点各自的磁盘需求量实际空间 = 源数据 * (1 + 副本数量) * (1 + 数据膨胀) / (1 - 内部任务开销) / (1 - 操作系统预留) ≈ 源数据 * (1 + 副本数量) * 1.45 ES建议存储容量 = 源数据 * (1 + 副本数量) * 1.45 * (1 + 预留空间) ≈ 源数据 * (1 + 副本数量) * 2.2

    40.2 计算资源预估

    • ES 的计算资源主要消耗在写入和查询过程,而不同业务场景在写入和查询方面的复杂度不同、比重不同,导致计算资源相比存储资源较难评估
      • 日志场景:日志属于典型的写多读少类场景,计算资源主要消耗在写入过程中
      • Metric 及 APM 等结构化数据场景
      • 站内搜索及应用搜索等搜索场景

    40.3 搭建集群自建

    • 对热节点增加如下配置
    node.attr.temperature: hot
    
    • 对冷节点增加如下配置
    node.attr.temperature: warm
    
    • 使用如下命令可以验证节点冷热属性
    GET _cat/nodeattrs?v&h=node,attr,value&s=attr:desc
    
    node attr value
    node1 temperature hot
    node2 temperature hot
    node3 temperature warm
    node4 temperature hot
    node5 temperature warm
    ...
    

    大数据视频推荐:
    腾讯课堂
    CSDN
    ELK入门精讲
    AIOps智能运维实战
    ELK7 stack开发运维
    大数据语音推荐:
    ELK7 stack开发运维
    企业级大数据技术应用
    大数据机器学习案例之推荐系统
    自然语言处理
    大数据基础
    人工智能:深度学习入门到精通

    相关文章

      网友评论

        本文标题:40.冷热集群搭建及使用实践

        本文链接:https://www.haomeiwen.com/subject/eryavrtx.html