美文网首页
ambari-metrics参数优化

ambari-metrics参数优化

作者: yinkp001 | 来源:发表于2019-08-15 18:09 被阅读0次

ambari-metric原理

AMS也是一个 Master-Slave 结构的框架。Master 模块便是 Metrics Collector,Slave 则是 Metrics Monitor 和 Hadoop Sinks。Slave 模块负责收集信息,并发送给 Collector。当然 Metrics Monitor 和 Hadoop Sinks 也有不同的职责,前者主要负责收集机器本身相关的指标,例如 CPU、Mem、Disk 相关信息;后者则负责收集 Hadoop 相关 Service 模块的性能数据,例如该模块Namenode占用了多少 Mem,以及该模块的 CPU 占用率等。

Ambari-metric存储数据的表如下:

Ambari-metric配置优化

1.根据集群规模进行参数调整:

2.Ambari-metric参数最佳实践(node1000+):

# AMS Collector heapsize

export AMS_COLLECTOR_HEAPSIZE=12288m

export HBASE_MASTER_OPTS=" -Xms11904m -Xmx11904m -Xmn896m -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly"

export HBASE_REGIONSERVER_OPTS=" -Xmn128m -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -Xms512m -Xmx512m"

3.另一现场参数调优后配置:




相关文章

  • ambari-metrics参数优化

    ambari-metric原理 AMS也是一个 Master-Slave 结构的框架。Master 模块便是 Me...

  • 后端开发需要了解的mysql优化方向

    优化思维导图 参数优化注意事项 参数优化分为 动态参数配置 和 配置文件的配置,建议在启动mysql之前配置好优化...

  • 优化方法总结

    优化算法框架 神经网络模型中有多种优化算法,优化算法的作用用来优化更新参数。对于优化算法而言,主要的框架如下。参数...

  • Tomcat优化方案

    1.Tomcat的优化分成两块: Tomcat启动命令行中的优化参数即JVM优化 Tomcat容器自身参数的优化 ...

  • MySQL核心参数优化

    MySQL核心参数优化

  • 参数优化

    在机器学习的工程化实际应用中,超参优化是个非常重要的过程。设置不当的超参会影响最终的效果。 一般来讲,人工可以对超...

  • sql优化的一般策略

    sql 优化的一般策略:索引优化,sql改写,参数优化,优化器 索引优化 以select * from vvsho...

  • Tomcat内存优化

    Tomcat内存优化主要是对 tomcat 启动参数优化参数。 1.linux 下调整tomcat的内存设置 wi...

  • 性能调优参数

    堆内存性能优化参数 垃圾回收性能优化参数 JVM服务参数调优实战 服务器配置:8 CPU,8G MEM,JDK 1...

  • Optimizer and BN

    Deep Learning Optimizers optimizers 通用参数 待优化参数:, 目标函数:, 初...

网友评论

      本文标题:ambari-metrics参数优化

      本文链接:https://www.haomeiwen.com/subject/mqktsctx.html