美文网首页
Hive--动态分区

Hive--动态分区

作者: 撸码小丑 | 来源:发表于2018-11-29 23:12 被阅读4次
set hive.exec.dynamic.partition=true;(可通过这个语句查看:set hive.exec.dynamic.partition;) 
set hive.exec.dynamic.partition.mode=nonstrict; 
SET hive.exec.max.dynamic.partitions=100000;(如果自动分区数大于这个参数,将会报错)
SET hive.exec.max.dynamic.partitions.pernode=100000;

建立分区表时动态分区的语法.

CREATE TABLE table_name    -
partitioned by (datekey)  --可以多个字段的组合分区 
Stored AS PARQUET
as
SELECT col1,col2,col3,DateKey FROM otherTable

插入数据时动态分区

INSERT INTO TABLE table_Name

PARTITION (DateKey)

SELECT col1,col2,col3,DateKey FROM otherTable

WHERE DATEKEY IN ('2017-02-26','2013-06-12','2013-09-24')

GROUP BY col1,col2,col3,DateKey  

DISTRIBUTE BY DateKey

相关文章

  • Hive--动态分区

    建立分区表时动态分区的语法. 插入数据时动态分区

  • mysql分区表

    1、创建分区表 2、查看分区 3、动态添加分区 4、动态删除分区 5、清空分区数据

  • 2020-04-23

    Android 10.0 Fastboot 动态分区烧录 1.概览 1.Fastbootd简介 动态分区(Dyna...

  • hive的动态分区加载数据和静态分区加载数据

    静态分区static partition:手动输入数据分区名称。动态分区dynamic partition:通过数...

  • Hive、Spark SQL任务参数调优

    动态分区 参数说明hive.exec.dynamic.partition是否开启动态分区,默认是false。如果要...

  • Doris系列17-动态分区

    一. 动态分区概述 动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(T...

  • 动态分区说明

    Hive分区 Hive的动态分区 概述 hive中支持两种类型的分区: 静态分区SP(static partiti...

  • Hive动态分区

    一)hive中支持两种类型的分区: 静态分区SP(static partition)动态分区DP(dynamic ...

  • Hive 分区表动态分区

    动态分区与静态分区区别就是不指定分区目录,由系统自己选择。 SET hive.exec.dynamici.part...

  • 动态分区分配

    为了克服固定分区的不足,引入了动态分区(或可变分区)分配方式。它在每次装入作业时动态地为作业从可用内存中划分出一个...

网友评论

      本文标题:Hive--动态分区

      本文链接:https://www.haomeiwen.com/subject/mpqrqqtx.html