美文网首页
Hive调优

Hive调优

作者: 钰独行 | 来源:发表于2018-04-19 22:13 被阅读0次

1.使用explain 和 explain extended

expain select * from dual;
expain extended select * from dual;

2.限制调整 limit

在使用Limit 时只输出了指定行数,但在很多情况下Limit语句还是会执行整个语句,再返回部分结果,可以设置抽样,避免这种情况。

<property>
  <name>hive.limit.optimize.enable</name>
  <value>true</value>
</property>

<property>
  <name>hive.limit.row.max.size</name>
  <value>10000</value>
</property>

<property>
  <name>hive.limit.row.min.size</name>
  <value>10</value>
</property>

缺点
一些数据永远不会被处理,就是有后续处理的,因为前一阶段把一些数据排除在外了。
例如: 有reduce阶段,join和group by,还有大部分聚合函数。

3.本地模式

永久配置:

##  hive-site.xml
<property>
  <name>hive.exec.mode.local.auto</name>
  <value>true</value>
</property>

启动时:

 $ hive hive.exec.mode.local.auto=true

执行过程临时启用本地模式

长呀,不想打,多几个  set  用的不多

4.并行执行

相关文章

  • Hive 调优总结,让 Hive 调优想法不再碎片化

    通过阅读比较多的 Hive 调优材料,并根据自己的实践,总结 Hive 调优如下,让 Hive 调优想法不再凌乱、...

  • hive调优实战系列文章-hive调优和问题排查思路

    本文将介绍Hive调优的整体过程,以及本人对Hive调优过程的一些思考,包括Hive调优的一般步骤,和调优方法。 ...

  • Hive ETL 优化(参数篇)

    Hive 调优-参数篇 <** 工作中常用的 hive 参数调优,整理如下。 原则: 最少数据 最少字段 最少Jo...

  • hive调优

    1,参数调优 hive.map.aggr = true hive.groupby.skewindata =tr...

  • Hive调优

    1.使用explain 和 explain extended 2.限制调整 limit 在使用Limit 时只输...

  • Hive 调优

    列出调优参数列表 具体可参考https://www.cnblogs.com/xd502djj/p/3799432....

  • Hive调优

    Fetch抓取(Hive可以避免进行MapReduce)Hive中对某些情况的查询可以不必使用MapReduce计...

  • HIVE 调优

    1. Fetch抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SE...

  • Hive调优

    1、Fetch 抓取 Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例...

  • Hive调优

    10.hive调优 10.1 Fetch抓取 Hive中对某些情况的查询可以不必使用MapReduce计算。例如:...

网友评论

      本文标题:Hive调优

      本文链接:https://www.haomeiwen.com/subject/wzpgkftx.html