美文网首页
hive 导出数据

hive 导出数据

作者: 吹洞箫饮酒杏花下 | 来源:发表于2018-05-09 11:24 被阅读0次

1. 导出到hdfs

insert overwrite directory '$hdfs_dir' select distinct concat(query,'\t',query_hash) from table_name  where day='$day';

导出到hdfs ,不能指定分隔符,只能用默认的^A ,且不可见。想要以tab做分隔符,通过concat实现。

默认的分割是“CTR+A”,ASCII码排第二位的字符,是不可见字符,二进制表示:'\u0001'。

如果用sed进行替换,sed  -i "s/^A/\t/g" file

2. 导出到本地路径

可以指定分隔符

insert overwrite directory '/tmp/test' row format DELIMITED FIELDS TERMINATED BY  '\t ' select * from table_name;

3. 导出到hive表

insert overwrite table  t1 select * from t2;

hive不支持 子查询结果直接建表,如 create table t1 as select * from t2; 在hive中是错误的

相关文章

  • 大数据知识点总结

    Hive: 分区表有哪几类 Hive中追加导入数据的4种方式是什么? Hive中到处数据有几种方式?如何导出数据 ...

  • Hive数据导出

    Hive数据导出 导出方式Hadoop命令方式Get (hadoop fs -get /warehouse/tes...

  • hive导出数据

    地址[https://blog.csdn.net/xiao_jun_0820/article/details/32...

  • hive 导出数据

    1. 导出到hdfs insert overwrite directory '$hdfs_dir' select ...

  • HIVE数据导出标准姿势

    HIVE数据导出的姿势 1.问题描述 之前一直使用hive -e "SELECT XXX FROM XXX" > ...

  • sqoop数据导出操作

    sqoop的数据导出存在2中方式: 1.直接从hive数据库中导出到mysql等的传统的数据库,导出的效率较高,但...

  • sqoop:导出MySQL数据至Hive时,数据中包含\001或

    场景 使用sqoop从MySQL导出数据至Hive时,如果数据中包含hive指定的列分隔符,如\001 或\t,那...

  • hive数据查询导出

    hive数据查询导出 出错FAILED: ParseException line 2:0 cannot recog...

  • HIVE数据导出CSV

    此前一直使用HIVE的Insert overwrite到本地目录的方法进行文件导出,但问题多多。主要原因是分隔符经...

  • hive数据迁移实例

    公司要完成hive数据迁移1.创建hdfs临时文件夹来保存数据 生成数据导出脚本执行以下的命令,生成数据导出的脚本...

网友评论

      本文标题:hive 导出数据

      本文链接:https://www.haomeiwen.com/subject/nljnrftx.html