分区
分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在， 但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列）。
（1）静态分区
create table if not exists sopdm.wyp2(id int,name string,tel string)
partitioned by(age int)
row format delimited
fields terminated by ','
stored as textfile;
--overwrite是覆盖，into是追加
insert into table sopdm.wyp2
partition(age='25')
select id,name,tel from sopdm.wyp;
（2）动态分区
--设置为true表示开启动态分区功能（默认为false）
set hive.exec.dynamic.partition=true;
--设置为nonstrict,表示允许所有分区都是动态的（默认为strict）
set hive.exec.dynamic.partition.mode=nonstrict;
--insert overwrite是覆盖，insert into是追加
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table sopdm.wyp2
partition(age) ---动态
select id,name,tel,age from sopdm.wyp;
2. 分桶
set hive.enforce.bucketing=true –必须设置这个数据，hive才会按照你设置的桶的个数去生成数据
create table bucket_user (id int,name string)
clustered by(id) sorted by(name) into 4 bucket
关键字clustered声明划分桶的列和桶的个数，这里以用户的id来划分桶，划分4个桶。
对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
把表（或者分区）组织成桶（Bucket）有两个理由：
（1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。
（2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。
建student表：
hive>create table student(id INT, age INT, name STRING)
>partitioned by(stat_date STRING)
>clustered by(id) sorted by(age) into 2 bucket
>row format delimited fields terminated by ',';
设置环境变量：
>set hive.enforce.bucketing = true;
插入数据：
>from student_tmp
>insert overwrite table student partition(stat_date="20120802")
>select id,age,name where stat_date="20120801" sort by age;
下面来看看利用bucket来对示例数据进行查询
—带桶的表
select * from student tablesample(bucket 1 out of 2 on id);
tablesample是抽样的语法，语法：TABLESAMPLE(BUCKET x OUT OF y) ，y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。例如，table总共分了64份，当y=32时，抽取(64/32=)2个bucket的数据，当y=128时，抽取(64/128=)1/2个bucket的数据。x表示从哪个bucket开始抽取。例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取（32/16=）2个bucket的数据，分别为第3个bucket和第（3+16=）19个bucket的数据。
—不带桶的表
select * from users
tablesample(bucket 1 out of 4 on rand());
3.索引
索引可以加快含有group by语句的查询的计算速度
create index employees_index on table employees(country)
as 'org.apache.hadoop.hive.ql.index.compact.CompactIndexHandler'
with deferred rebuild
in table employees_index_table ;
alter index employees_index on employees_index_table rebuild; -- 重建索引
网友评论