美文网首页
Hive导入数据

Hive导入数据

作者: 编程回忆录 | 来源:发表于2017-12-11 19:51 被阅读0次
  • 向管理表中导入数据
load data local inpath '/Users/wesley/apps/data/hive_learning_data/employees/employees.txt' overwrite into table employees partition (country='US',state='CA');
  • 从其他表导入数据
insert overwrite table employees
partition (country='US',state='CA')
select *
from staged_employees t2
where t2.country='US' and t2.state='CA';

如果staged_employees表有多个state需要插入到employees表的对应state分区中,我们可以这样写:

from staged_employees t2
insert overwrite table employees
          partition (country='US',state='CA')
select * where t2.country='US' and t2.state='CA'
insert overwrite table employees
          partition (country='US',state='OR')
select * where t2.country='US' and t2.state='OR'
insert overwrite table employees
          partition (country='US',state='IL')
select * where t2.country='US' and t2.state='IL'

通过上面的sql我们可以一次插入多个分区,但是如果需要插入的分区太多,写起来的sql太长太繁琐,这时候我们可以利用动态分区来插入:

  • 动态分区插入
insert overwrite table employees
          partition (country,state)
select name,salary,subordinates,deductions,address,country,state
from staged_employees

注意分区字段country、state必须写在select最后

  • 单个查询语句中创建表并导入数据
create table employees_us
as
select name,salary,subordinates,deductions,address,country,state
from staged_employees
where country='US'

相关文章

  • Hive学习笔记2

    Hive 的数据导入: 可以使用Load命令导入,也可以使用Sqoop组件导入数据。 Hive不支持insert插...

  • Hive中导入数据和导出数据

    一、向Hive导入数据 先在Hive里面创建好表,如下: 1、从本地文件系统中导入数据到Hive表 本地文件系统里...

  • Sqoop User Guide v1.4.6文档7.2.12.

    Importing Data Into Hive 表格8. Hive参数 7.2.12 导入数据到Hive中 Sq...

  • Sqoop数据迁移

    从RDB导入到HDFS 从RDB导入到Hive 注:往hive导入数据之前需要创建好database--delet...

  • hive 常用导入/导出

    首先列出讲述下面几种导入方式的数据和hive表。 从本地导入数据首先需要创建hive 表load data loc...

  • Hive基础@2019-09-02

    hive -e "sql语句" hive -f "sql文件" 导入数据到hivehive> load data ...

  • 大数据知识点总结

    Hive: 分区表有哪几类 Hive中追加导入数据的4种方式是什么? Hive中到处数据有几种方式?如何导出数据 ...

  • Hive导入数据

    向管理表中导入数据 从其他表导入数据 如果staged_employees表有多个state需要插入到employ...

  • hive导入数据

    /usr/bin/sqoop import \ --hive-import \ --create-hive-t...

  • Sqoop的简单使用案例

    导入数据 在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE...

网友评论

      本文标题:Hive导入数据

      本文链接:https://www.haomeiwen.com/subject/qisymxtx.html