美文网首页
更新hive表数据

更新hive表数据

作者: superHang | 来源:发表于2020-03-22 20:43 被阅读0次

hive外部表和内部表的区别

hive内部表删除的时候会将元数据和hdfs上的数据和对应的文件夹都删掉了,而删除外部表的时候,只会将元数据删除,而hdfs上的数据不会被删除,外部表创建添加external,不添加默认创建内部表

1.建立测试hive分区表

create table test_table(
name string comment "姓名",
age string comment "年龄",
clazz string "班级"
)partitioned by(grade string comment '以年级做分区字段')
row format delimited fields terminated by ',';

2.加载分区数据

##one.txt数据
小明,6,一班,一年级
小红,7,二班,一年级
小李,8,三班,一年级
小芳,9,四班,一年级
#将这份数据传到hdfs文件系统中
hadoop fs -put one.txt  "/user/warehouse/test_table/"

##3.加载一年级分区数据
load data INPATH '/user/warehouse/test_table/one.txt' into table test_table PARTITION (grade ='一年级');

3.删除分区表数据

alter table test_table drop partition(grade=‘一年级’))

4.因为一年级数据变化了,重新加载一年级分区数据

one2.txt
小明2,6,一班,一年级
小红,7,二班,一年级
小李,8,三班,一年级
小芳,9,四班,一年级
小凌,6,五班,一年级

hadoop fs -put one2.txt  "/user/warehouse/test_table/"



load data INPATH '/user/warehouse/test_table/one2.txt' into table test_table PARTITION (grade ='一年级');


因为hive没有对行级别的update 和 delete 操作,又不像删除表重建,就通过hdfs操作来更改hive的数据

相关文章

  • 更新hive表数据

    hive外部表和内部表的区别 hive内部表删除的时候会将元数据和hdfs上的数据和对应的文件夹都删掉了,而删除外...

  • SparkSQL操作外部数据源

    parquet数据 hive表数据 mysql表数据 hive与mysql结合 1.处理parquet数据 启动s...

  • Hive知识汇总

    两种Hive表 hive存储:数据+元数据 托管表(内部表) 创建表: 准备数据文件my.txt 灌数据: 查看数...

  • 数仓--Hive-面试之Hive内外表的区分方法及内外部差异

    Hive内外部区分方法 查看hive元数据:进入mysql中hive元数据库,查看TBLS表,查看对应的表名和表类...

  • hive内部表与外部表

    hive内部表与外部表 hive的内部表与外部表之间的区别 传统数据库和hive之间的区别 传统数据库对表的验证是...

  • sqoop创建hive表结构以及同步数据

    1.sqoop创建hive表结构以及同步数据 命令 创建hive 表结构 通过sqoop 导数据

  • Spark 数据倾斜调优

    1.使用Hive ETL预处理数据 方案适用场景:如果导致数据倾斜的是Hive表。如果该Hive表中的数据本身很不...

  • Hive DDL

    Hive 库操作 创建数据库 删除数据库 修改数据库信息 数据库信息 Hive 表操作 内部表又称管理表。 Hiv...

  • Hive中导入数据和导出数据

    一、向Hive导入数据 先在Hive里面创建好表,如下: 1、从本地文件系统中导入数据到Hive表 本地文件系统里...

  • hive元数据及相关查询

    hive 元数据的数据模型 hive元数据的查用查询语句 通过中文字段找表 根据表中文注释找表 查找该表授权的视图...

网友评论

      本文标题:更新hive表数据

      本文链接:https://www.haomeiwen.com/subject/bczvyhtx.html