美文网首页
Presto参数设置

Presto参数设置

作者: 叫我小名 | 来源:发表于2019-03-01 15:19 被阅读0次

Presto内存配置是开发者很关心的核心配置:

很难给出确切的数字,因为这些数字应该根据您的工作量来设置。所以,我能做的就是为你提供一些数字,然后你应该试验这些配置和你的工作量来微调它们。

假设每个节点有47G,你可以从35G的Xmx开始,因为你应该为本机内存留出一些开销,并为机器上运行的操作系统和其他守护进程留出一些空间,如果有的话。在生产中,我们使用32M的G1区域大小,这也是部署文档中记录的值。

鉴于最大堆大小为35G,我认为您可以开始尝试使用以下值并确定适合您的工作负载的值:

query.max-memory-per-node = 12GB

query.max-total-memory-per-node = 15GB

memory.heap-headroom-per-node = 8GB(这是作为余量/缓冲区留出的堆内存量(例如,用于未跟踪的分配))。

每个节点的净空间为8G,最大总内存为15G,每个工作站的总体池大小为35-8-15 = 12G,整个群集中的12G * 11 = 132G。当我们确定query.max-memory(峰值全局用户内存限制)时,我们还会考虑散列分区计数(query.initial-hash-partitions配置,即分布式连接和聚合的分区数)。由于你有11个节点,你可以设置query.initial-hash-partitions 为8,如果我们设置query.max-memory为48G,将导致每个节点内存使用量大约48/8 = 6GB(如果没有偏差,数据分布均匀),并且因为我们有query.max-memory-per-node12GB,这意味着我们允许偏斜因子为12/6 = 2(也就是说,当数据分布不均时,我们允许任务消耗两倍的内存)。同样,你一定要试验和调整这些值,并弄清楚什么对你有用。

相关文章

  • Presto参数设置

    Presto内存配置是开发者很关心的核心配置: 很难给出确切的数字,因为这些数字应该根据您的工作量来设置。所以,我...

  • Presto 配置

    Presto架构图 下载presto-server-317.tar.gz解压到/opt/app/presto-se...

  • presto jdbc java

    com.facebook.presto presto...

  • 目录

    基于presto0.155,以一条主线 : cli查询presto+hive返回 一、cli与presto通信机制...

  • Presto源码分析之Slice

    Slice是Presto里面用来对内存高效地、自由地进行操作的接口。它在Presto里面很关键, Presto里面...

  • presto 的安装与使用

    相关说明: Presto官网: Presto | Distributed SQL Query Engine for...

  • Presto参考

    0.zepplin中使用presto 1.presto正则表达式 2.解析json 3.presto时间 4.pr...

  • presto 连接hive

    修改hive-site.xml增加 启动 presto配置 启动presto服务 连接测试

  • OLAP引擎:基于Presto组件进行跨数据源分析

    一、Presto概述 1、Presto简介 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数...

  • Presto中的插件

    插件 了解了presto的数据模型,就可以给presto编写插件,来对接自己的存储系统。presto提供了一套co...

网友评论

      本文标题:Presto参数设置

      本文链接:https://www.haomeiwen.com/subject/rncawxtx.html