Hive 分桶

• 分桶
  • 对于每一个表或者分区，Hive可以进一步组织成桶，也就是更为细粒度的数据范围划分
  • Hive是针对某一列进行分桶
  • Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中
• 好处
  • 获得更高的查询处理效率
  • 使取样（sampling） 更高效
• 分桶的使用
  • select * from bucketed_user
  • tablesample(bucket 1 out of 2 on id)
• bucket join
  • set hive.optimize.bucketmapjoin = true;
  • set hive.optimize.bucketmapjoin.sortedmerge= true;
  • set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;
• 样例：
  • create table bucketed_user(
  • id int,
  • name string
  • )
  • clustered by (id) sorted by (name) into 4 buckets
  • row format delimited fields terminated by '\t' stored as textfile;
• 分桶默认不开启 需开启
  • Set hive.enforce.bucketing= true;
• 链接两个在（包含连接列）相同列上划分了桶的表，可以使用Map端链接（Map-side join）高效的实现。比如Join操作。对于Join操作两个表有一个相同的列，如果对着两个表都进行了桶操作。那么将保持相同列值得桶进行Join操作就可以，可以大大减少Join的数据量。
• 对于map端连接的情况，两个表以相同方式划分桶。处理左边表内某个桶的mapper知道右边的表内相匹配的行在对应的桶内。因此，mapper只需要获取那个桶（这只是右边表内存储数据的一小部分）即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同，两个表的桶个数是倍数关系也可以。