美文网首页
MySQL通过导出csv的方式将数据同步到hive

MySQL通过导出csv的方式将数据同步到hive

作者: 只是甲 | 来源:发表于2021-06-01 17:41 被阅读0次

    备注:

    测试版本MySQL 5.6

    一.将mysql的表导出到csv

    -- mysql端导出到csv文件
    mysql [my_db]> select * from tab1 limit 1000 into outfile "/data/csv/tab1_20201224.csv";
    Query OK, 1000 rows affected (0.00 sec)
    
    -- scp到hadoop所在服务器
    [root@my_db csv]# scp ./ tab1_20201224.csv root@10.31.1.123:/home/csv/
    

    hive端创建表:
    分隔符‘\t’ 代表空格,mysql默认导出的是csv文件是以空格为分隔符的

    CREATE TABLE ` tab1`(
      `id` int, 
      `messagecontent` string, 
      `messagedate` string, 
      `phone` string, 
      `userid` int, 
      `ishit` int, 
      `create_time` string)
    row format delimited fields terminated by '\t' stored as textfile;
    

    load data 是真的快

    LOAD DATA LOCAL INPATH '/home/csv/ tab1_20201224.csv' into table  tab1;
    

    相关文章

      网友评论

          本文标题:MySQL通过导出csv的方式将数据同步到hive

          本文链接:https://www.haomeiwen.com/subject/wdipnktx.html