美文网首页
Hive严格模式

Hive严格模式

作者: 小小少年Boy | 来源:发表于2018-08-08 21:50 被阅读0次

定义:防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。

通过设置hive.mapred.mode = strict ,可以禁止三种类型的查询:

1)带有分区的表查询
在执行分区表的时候,如果where语句中不包含分区字段过滤条件来限制数据范围,就不允许查询。换句话就是,不允许用户扫描所有的分区。进行这个限制的原因是:通常分区表都拥有非常大的数据集,而且数据增加迅速,如果没有进行分区限制的查询,可能会消耗大量资源来处理这个表。

2)带有order by的查询
使用order by,必要要有limit语句,因为全排序会将结果分发到一个reduce处理,可能会很耗费时间

3)限制笛卡儿积的查询

备注:
Hive的两种索引:
位图索引:普遍用于去重后值比较少的列
紧凑索引:存储每个值的HDFS块号

相关文章

  • Hive严格模式

    定义:防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。 通过设置hive.ma...

  • PySpark写数到 Hive 动态分区

    首先,写入动态分区表,要设置一些严格模式的参数,将其设置为非严格模式 插入非分区 Hive 表 对于插入 Hive...

  • hive的严格模式和分区

    相比mysql,hive有严格模式存在,为了不错误扫描整个数据,hive的分区表会将数据分成几个分区。查询分区表中...

  • Hive SQL的排序

    Order By 在HSQL中的Order By类似于在SQL中的Order By。在严格模式下(hive.map...

  • HIVE

    基本操作 hive进入hive模式 exit; 退出hive模式 展示正则匹配表名hive> use ad_s...

  • hive环境搭建

    Hive2.1.1安装部署 一、Hive 运行模式 与Hadoop类似,Hive也有 3 种运行模式: 1. 内嵌...

  • Hive优化

    本地模式 开启本地模式:set hive.exec.mode.local.auto=true;hive.exec....

  • 面向对象-严格模式、作用域

    严格模式 js有两中开发模式:非严格模式(默认)+严格模式(“ues strict”) 严格模式:会进行更严格的代...

  • JavaScript this

    全局下this 非严格模式/严格模式 window 函数内this 非严格模式 window 严格模式 undef...

  • 开发中的严格模式

    js中有严格模式和非严格模式两种运行环境 在开发中,有非严格模式和严格模式2种开发模式 在严格模式下,会做更加严格...

网友评论

      本文标题:Hive严格模式

      本文链接:https://www.haomeiwen.com/subject/rvkfbftx.html