美文网首页
hive 查询优化

hive 查询优化

作者: 早点起床晒太阳 | 来源:发表于2020-07-27 20:28 被阅读0次
1、优化count的时间

调整hive.compute.query.using.stats 参数,这一在执行count操作的时候直接去查询元数据而不用再去执行计算
它的解释如下

  <description>
      When set to true Hive will answer a few queries like count(1) purely using stats
      stored in metastore. For basic stats collection turn on the config hive.stats.autogather to true.
      For more advanced stats collection need to run analyze table queries.
    </description>

有些表是存储这有一个表有多少行的(numRows字段),具体可以使用 desc formatted tableName 来进行查询,如下所示

| Table Parameters:             | NULL                                              | NULL                        |
|                               | COLUMN_STATS_ACCURATE                             | {\"BASIC_STATS\":\"true\"}  |
|                               | numFiles                                          | 9                           |
|                               | numRows                                           | 12196178                    |
|                               | rawDataSize                                       | 8878817584                  |
|                               | totalSize                                         | 785739671                   |
|                               | transient_lastDdlTime                             | 1595852757                  |

相关文章

  • Hive优化

    Hive优化 今天的主要内容——Hive优化 Fetch抓取Hive 中对某些情况的查询可以不必使用 MapRed...

  • hive 查询优化

    1、优化count的时间 调整hive.compute.query.using.stats 参数,这一在执行co...

  • 数仓--Hive-面试之Hive优化策略

    Hive的优化策略大致分为:配置优化(hive-site.xml和hive-cli执行前配置)、表优化、hive数...

  • hive调优

    hive的查询注意事项以及优化总结 . Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的Map...

  • hive 查询性能优化总结

    一、join优化 ** Join查找操作的基本原则:** 应该将条目少的表/子查询放在 Join 操作符的左边。原...

  • Hive优化

    Hive简单优化与定期ETL Hive优化 Hive的执行依赖于底层的MapReduce作业,因此对Hadoop作...

  • Hive优化

    Hive数据倾斜优化总结 Hive数据倾斜优化分为配置优化和SQL优化 优先原则: 数据不怕多,避免倾斜。 减少J...

  • Hive 企业使用优化一

    Hive优化之一fetch task。 优化场景, 1、当在hive中执行select * from emp全部查...

  • Hive简介

    1. Hive提供了一个被称为hive查询语言的的SQL方言,来查询存储在Hadoop集群中的数据。 Hive可以...

  • Hive编程指南读书笔记0001

    Hive概述 1.Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL方言,来查询存储在H...

网友评论

      本文标题:hive 查询优化

      本文链接:https://www.haomeiwen.com/subject/yuytrktx.html