美文网首页
sqoop创建hive表结构以及同步数据

sqoop创建hive表结构以及同步数据

作者: wudl | 来源:发表于2021-06-14 21:56 被阅读0次

1.sqoop创建hive表结构以及同步数据

命令 创建hive 表结构

/export/servers/sqoop/bin/sqoop create-hive-table \
--connect jdbc:mysql://192.168.1.140:3306/tags_dat \
--table tbl_users \
--username root \
--password 123456 \
--hive-table tags_dat.tbl_users \
--fields-terminated-by '\t' \
--lines-terminated-by '\n'
  1. 通过sqoop 导数据
/export/servers/sqoop/bin/sqoop import \
--connect jdbc:mysql://192.168.1.140:3306/tags_dat \
--username root \
--password 123456 \
--table tbl_users \
--direct \
--hive-overwrite \
--delete-target-dir \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
--hive-table tags_dat.tbl_users \
--hive-import \
--num-mappers 1

相关文章

  • sqoop创建hive表结构以及同步数据

    1.sqoop创建hive表结构以及同步数据 命令 创建hive 表结构 通过sqoop 导数据

  • 使用Sqoop导Mysql数据到Hbase报错

    报错日志 失败原因 使用sqoop导mysql数据到HDFS,不用在hive里面建表,在跑mr任务时候自动创建hi...

  • Hive高级查询操作

    Hive高级操作 1.使用LIKE、AS创建表,表重命名,添加、修改、删除列 表结构数据复制 根据已存在的表结构,...

  • 通过python调用sqoop批量同步mysql表至hdfs

    前言 在用sqoop进行数据同步的时候,如果同步的目标表为多个子表,这时逐个表配置sqoop脚本会很麻烦,下面介绍...

  • Hive高级查询操作

    Hive高级操作 1.使用LIKE、AS创建表,表重命名,添加、修改、删除列 表结构数据复制根据已存在的表结构,使...

  • hive进阶学习

    创建hive表常用语句: 修改hive表名称: 内部表 vs 外部表: 创建分区表以及补充操作: hive中查询介...

  • Spark实例-操作Hive数据

    Spark操作Hive数据库,实现数据表创建,数据加载,以及数据查询。实例代码如下:

  • DataX在有赞大数据平台的实践

    一、需求 有赞大数据技术应用的早期,我们使用 Sqoop 作为数据同步工具,满足了 MySQL 与 Hive 之间...

  • Hive知识汇总

    两种Hive表 hive存储:数据+元数据 托管表(内部表) 创建表: 准备数据文件my.txt 灌数据: 查看数...

  • hive 基本操作

    hive添加表 hive的命令就是mysql的命令. 创建数据库 创建表 把数据文件put到表在hdfs中的目录下...

网友评论

      本文标题:sqoop创建hive表结构以及同步数据

      本文链接:https://www.haomeiwen.com/subject/hwtaeltx.html