美文网首页
集群之间hive表数据迁移

集群之间hive表数据迁移

作者: 府学路十八吖 | 来源:发表于2018-11-25 11:22 被阅读0次

前言

这几天在做集群之间的hive表数据迁移,方法比较笨,但是亲测有效,能够实现预期目标。

操作流程

1、在本地集群建立临时文件夹currentData
mkdir currentData

2、将hive表中的数据保存到临时文件夹下currentData
hdfs dfs -get /user/hive/warehouse/test_db.db/test_data/* /test/currentData
注意:两个地址之间有空格;第一个地址后面的星号表示选取该路径下的所有内容

3、通过xftp将currentData下的文件保存到本地:复制整个文件夹到本地

4、在新的集群中建立数据库:tar_test_db
hcat -e "create database tar_test_db"

5、进入hive,在数据库中建立hive表:test_table;
CREATE EXTERNAL TABLE test_table(
user_id STRING,
name STRING,
gender STRING,
performance STRING,
age STRING,
speciality STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|';

6、load 数据
load data local inpath '/home/hadoop/test_data' overwrite into table test_table;

7、查看表结构和表内容
use test_db;
show tables;
desc test_table;
slelct * from test_table limit 5;
select count(*) from test_table;

相关文章

  • hdfs文件迁移

    hadoop跨集群之间迁移HDFS数据 不同hadoop集群之间迁移hive数据 hadoop跨集群之间迁移hiv...

  • 集群之间hive表数据迁移

    前言 这几天在做集群之间的hive表数据迁移,方法比较笨,但是亲测有效,能够实现预期目标。 操作流程 1、在本地集...

  • hive的这些事(一)——hive数据迁移

    比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。 [expor...

  • 一篇文章教你自建hadoop集群迁移到EMR

    自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置...

  • Hive小文件合并迁移

    1 需求 Hive数据库内有4张表,每张表有1TB左右数据,按天分区,需要将这4张表的数据迁移到另一个集群。因为...

  • HBase 的数据迁移importTsv功能

    数据迁移场景举例 Hbase集群装好了,若需要往表中装数据; 数据的备份,如测试集群往生产集群上迁移。 几种HBa...

  • hive 跨集群迁移表

    1. export table xxx to '/tmp/xxxx'; 2.hadoop fs - get /tm...

  • hive内部表与外部表

    hive内部表与外部表 hive的内部表与外部表之间的区别 传统数据库和hive之间的区别 传统数据库对表的验证是...

  • HDFS搞事情系列(一):跨集群数据迁移

    需求 老集群中的HDFS数据迁移至新集群。 迁移之前需要考虑的事情 1、迁移总数据量有多少?2、新老集群之间的带宽...

  • CDH集群间的数据迁移方案

    目前不同公司多多少少存在Hive数据库在不同集群间的数据迁移需求,我们只要在CDH新版本集群搭建完成之后,即可进...

网友评论

      本文标题:集群之间hive表数据迁移

      本文链接:https://www.haomeiwen.com/subject/hdcpqqtx.html