美文网首页
hive insert into 导入分桶表的数据分桶失效

hive insert into 导入分桶表的数据分桶失效

作者: 无来无去_A | 来源:发表于2020-04-28 12:44 被阅读0次

测试数据:

1002 ss2

1003 ss3

1004 ss4

1005 ss5

1006 ss6

1007 ss7

1008 ss8

1009 ss9

1010 ss10

1011 ss11

1012 ss12

1013 ss13

1014 ss14

1015 ss15

1016 ss16

测试表:

1.  create table student(id string, name string)row format delimited fields terminated by '\t';

2.  create table stu_buck_3(id int, name string)

    clustered by(id)

    into 4 buckets

    row format delimited fields terminated by '\t';

==============================

1 .  load data local 加载数据到 student 表:

2 . 使用insert into stu_buck_3 select id , name from student   导入数据到  stu_buck_3, 但是并没有按照id 进行取模分桶数的排列效果, HDFS 上的的表文件也没有这个效果

相关求助找到解决办法 解决办法:

        把引擎使用的引擎由tez 改回 mr 正常。 set hive.execution.engine = mr

相关文章

  • hive insert into 导入分桶表的数据分桶失效

    测试数据: 1002 ss2 1003 ss3 1004 ss4 1005 ss5 1006 ss6 1007 s...

  • FAILED: SemanticException Please

    导入本地文件数据到hive中创建的分桶表时报错: 解决办法: 导入一个新建的中间表,字段和分桶表一致,然后导入数据...

  • Hive 1.2.1 分区和分捅

    1. 借鉴 Hive学习笔记——Hive中的分桶Hive分区和分桶(0925)HIVE表索引,分区和分桶的区别 2...

  • Hive 分桶

    Hive 分桶 分桶对于每一个表或者分区,Hive可以进一步组织成桶,也就是更为细粒度的数据范围划分Hive是针对...

  • Hive使用Beeline的DDL操作

    beeline进入交互命令行 内部表 外部表 分区表 分桶表 分桶表&分区表 导入数据的时候需要指定分区 倾斜表 ...

  • Hive分桶

    Hive分桶 分桶表是对列值取哈希值的方式,将不同数据放到不同文件中存储。 对于hive中每一个表、分区都可以进一...

  • Hive分桶表

    测试数据 创建分桶表 设置变量,设置分桶为true, 设置reduce数量是分桶的数量个数 加载数据 检查刚刚加载...

  • 案例详解__HIVE中内部表、外部表、分区表和分桶表

    目录一、Hive建表语法二、内部表外部表三、分区表四、分桶表 Hive在建表时可指定内部表、外部表、分区表和分桶表...

  • Hive 分桶详解

    1分桶 1.1什么是分桶?和分区有什么区别? 分区:Hive在查询数据的时候,一般会扫描整个表的数据,会消耗很多不...

  • hive表分桶设计

    分桶字段选择 进行分桶之前需要对表的数据分布情况进行大致的分析,一般遵循的原则为,选择离散度高的字段进行分桶。可以...

网友评论

      本文标题:hive insert into 导入分桶表的数据分桶失效

      本文链接:https://www.haomeiwen.com/subject/opdvwhtx.html