美文网首页
Hue 导出数据到 mysql

Hue 导出数据到 mysql

作者: AkanaKanchi | 来源:发表于2017-08-24 11:53 被阅读0次

因工作需要,要将hue上的数据导出到mysql,方便做展示。但是存储人手不足,只好自己上了。

大致流程是,在hue上建一个工作流即可,下面讲一下详细的步骤。

Step 1: 建 Workflow

  • 点击[Workflows]->[Editors]->[Workflows]
  • 点击[Create]
  • 添加[Hive Script]
example_hive_script.sql

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
create table if not exists dst.test_table
(a bigint, b bigint) partitioned by (day string);

insert overwrite table dst.test_table partition(day="${day}")

SELECT a,
       max(b),
FROM src.test_table
WHERE DAY="${day}"
GROUP BY a
ORDER BY a
  • 添加[Sqoop command]
example Sqoop command

export --connect jdbc:mysql://ip:port/test_db --username name --password passwd --table test_table --fields-terminated-by '\t' --update-key a --update-mode allowinsert  --export-dir /path/dst/test_table/day=${day}

Step 2: 建 mysql 数据表

  • 连接到数据库
mysql -u name -p -h ip -P port test_db
  • 创建新表
mysql> create table if not exists test_table(
    a bigint,
    b bigint,
    primary key(a)
);

note: mysql表要和hive的字段一致

Step 3: 建 Coordinator

直接[Create],指定Workflow,指定运行时间即可。
最后点击[Submit]。

总结

学习了一番sql简单的语句,感觉收获不少。

相关文章

  • Hue 导出数据到 mysql

    因工作需要,要将hue上的数据导出到mysql,方便做展示。但是存储人手不足,只好自己上了。 大致流程是,在hue...

  • aliyun.CentOS7.MySQL操作.2017-09-2

    初始化MySQL数据库 MySQL数据导入导出查看MySQL数据库的命令 MySQL数据导出到表 MySql数据库...

  • DataX 增量同步数据

    全量数据导出请查看DataX mongodb导出数据到mysql Datax UDF手册 datax.py mon...

  • mysql笔记

    mysql 常用命令 mysql 导出数据库: mysql 清空缓存 mysql导入导出数据库 windows下 ...

  • DataWhale MySQL Task3 #2019-04-0

    MySQL数据导出CSV MySQL数据导入CSV

  • MySQL的数据导入导出

    MySQL数据库的导入导出 导出 导出数据库 导出数据 导出单表数据 导出单表数据结构 操作数据库 导出整个数据库...

  • 数据库导出命令

    数据库导出命令 mysql数据库导出​ mysqldump -uroot -ppassword zabbix>...

  • mysqldump备份数据

    标签(空格分隔): mysql 1 导出数据库 1.1 导出所有数据库 1.2 导出单个数据库 1.3 导出...

  • MySQL命令行导入导出数据

    MySQL 用命令行导出, 导入数据 1.导出数据: 1.1.导出单个数据库 mysqldump -hhost -...

  • mysql 导出数据到excel

    进入mysql 所在服务器, 执行下面的命令mysql -h127.0.0.1 -uroot -p[passwor...

网友评论

      本文标题:Hue 导出数据到 mysql

      本文链接:https://www.haomeiwen.com/subject/aomsdxtx.html