美文网首页
Hive创建分区表,动态插入数据

Hive创建分区表,动态插入数据

作者: 米小河123 | 来源:发表于2021-12-10 16:18 被阅读0次

1、创建分区表

--- 创建分区表
drop table temp_base.temp_table;
CREATE TABLE IF NOT EXISTS temp_base.temp_table(
id string comment '字段id注释'
,name string  comment '字段name注释'
) COMMENT '备注表名'
PARTITIONED BY (`dt` string) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
with serdeproperties('serialization.null.format' = '')
STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY")
;
-- 动态插入前设置
set hive.exec.dynamic.partition.mode=nonstrict;

-- 插入数据
insert overwrite table temp_base.temp_table partition(dt)
-- overwrite 和 into 的区别
-- into 会在原分区增加数据
-- overwrite 会全量替换原分区数据
select
-- 注意分区字段必须在最后一个
-- 表字段跟建表字段顺序一致
    id,
    name,
    dt
from 库名.表名
where dt between '2020-02-01' and '2020-02-04'
;
-- 查看分区
show partitions temp_base.temp_table
;
-- 查看表信息
show create table temp_base.temp_table;

-- 或者
desc  temp_base.temp_table;

相关文章

  • hive 动态分区

    目的,往分区表中插入数据: 创建一个分区表:插入数据报错,原因是没有开启动态分区 执行命令: set hive.e...

  • 数仓--Hive-面试之Hive动态分区

    面试如果被问道,那么需要说出彩来,特别时参数 Hive动态分区参数配置 往hive分区表中插入数据时,如果需要创建...

  • Hive创建分区表,动态插入数据

    1、创建分区表

  • PySpark写数到 Hive 动态分区

    首先,写入动态分区表,要设置一些严格模式的参数,将其设置为非严格模式 插入非分区 Hive 表 对于插入 Hive...

  • Hive--动态分区

    建立分区表时动态分区的语法. 插入数据时动态分区

  • Flink --通过讲mysql数据插入到iceberg

    1. 创建表 2.创建分区表 3. 插入数据 4. 将mysql 数据插入到iceberg 表中

  • hive sql 分区

    创建分区表,以日期作为分区,一般先创建分区表,再插入数据 创建表t2,插入一行数据,待用,t2与t1表结构一样的,...

  • HiveSQL分区-DML

    分区 创建分区表 以性别分区;分区字段不可与表列名重复! 载入分区表数据 介绍load-data:Hive-DML...

  • hive基本操作之一

    1.hive表中的基本数据类型 2,hive创建分区表 2.1内部表 建表语句: create table...

  • SparkException——Dynamic partitio

    问题描述: 在spark-shell控制台运行如下命令:插入数据到hive分区表中 scala> spark.sq...

网友评论

      本文标题:Hive创建分区表,动态插入数据

      本文链接:https://www.haomeiwen.com/subject/xdlcfrtx.html