分区/桶
Hive 分区
Hive的分区方式：由于Hive实际上是数据文件在HDFS存在的目录区分
分区字段是虚拟列
- 一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
- 表和列名不区分大小写。
- 分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在， 但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列）
静态分区
静态分区
create table bitag.f_feed_article_info
(
source string,
domain string,
hash_id string ,
url string ,
is_news int,
title string,
content string,
body string,
summary string,
img_url string,
article_time bigInt,
raw_content string,
first_tag string,
second_tag string,
unique_hash string,
title_hash string,
update_time timestamp
)
comment 'feed文章'
partitioned by (dt string comment '当前时间，用于分区字段')
row format delimited
stored as PARQUET ;
静态分区写入指定写入的分区字段partition
insert into bitag.f_feed_article_info partition(dt = '$tDate') select * from detectTags
动态分区
- 相关参数
| HIVE参数 | 默认值 | 解释 |
|---|---|---|
| hive.exec.dynamic.partition | false | 是否开启动态分区功能 |
| hive.exec.dynamic.partition.mode | strict | 动态分区的模式，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。 |
| hive.exec.max.dynamic.partitions.pernode | 100 | 在每个执行MR的节点上，最大可以创建多少个动态分区。 |
| hive.exec.max.dynamic.partitions | 1000 | 在所有执行MR的节点上，最大一共可以创建多少个动态分区。 |
| hive.exec.max.created.files | 100000 | 整个MR Job中，最大可以创建多少个HDFS文件。 |
| hive.error.on.empty.partition | false | 当有空分区生成时，是否抛出异常。一般不需要设置。 |
- 写入数据
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=10000;
set hive.exec.max.dynamic.partitions=1000000;
set hive.exec.max.created.files=1000000;
CREATE TABLE table (
url String
) PARTITIONED BY (month String,day String)
stored AS textfile;
INSERT overwrite TABLE d_table PARTITION (month,day)
SELECT url,substr(day,1,7) AS month,day
FROM d_table;
Hive 桶
对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表（或者分区）组织成桶（Bucket）有两个理由：
-
1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量**。
-
2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。
语法
- 1), 建student & student1 表：
create table student(id INT, age INT, name STRING)
partitioned by(stat_date STRING)
clustered by(id) sorted by(age) into 2 buckets
row format delimited fields terminated by ',';
create table student1(id INT, age INT, name STRING)
partitioned by(stat_date STRING)
clustered by(id) sorted by(age) into 2 buckets
row format delimited fields terminated by ',';
- 2), 设置环境变量：
set hive.enforce.bucketing = true; # 可以自动控制上一轮reduce的数量从而适配bucket的个数
- 3), 插入数据：
LOAD DATA local INPATH '/home/lijun/bucket.txt' OVERWRITE INTO TABLE student partition(stat_date="20120802");
from student1
insert overwrite table student1 partition(stat_date="20120802")
select id,age,name where stat_date="20120802" sort by age;
hadoop fs -ls /hive/warehouse/test.db/student1/stat_date=20120802;
select * from student1 tablesample(bucket 1 out of 2 on id);
注：tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y)
y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。例如，table总共分了64份，当y=32时，抽取(64/32=)2个bucket的数据，当y=128时，抽取(64/128=)1/2个bucket的数据。x表示从哪个bucket开始抽取。
例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取（32/16=）2个bucket的数据，分别为第3个bucket和第（3+16=）19个bucket的数据。
参考：
https://blog.csdn.net/wisgood/article/details/17186107
https://blog.csdn.net/strongyoung88/article/details/53743937/
http://lxw1234.com/archives/2015/06/286.htm
https://www.cnblogs.com/yongjian/archive/2017/03/29/6640951.html
网友评论