DataX介绍
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
DataX安装
1.下载python(推荐2.7.x)
链接:https://www.python.org/downloads/release/python-2718/
2.安装并配置环境变量
安装并配置环境变量
3.下载DataX
链接:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
自检脚本: 例:python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json
自检命令
DataX-Web安装
1.下载DataX-Web项目https://github.com/WeiYe-Jing/datax-web
2.创建DataX-Web数据库,导入项目中的sql文件
3.修改数据库地址及日志输出地址
数据库地址
日志输出地址
4.启动两个Application,打开http://localhost:8080/index.html#/dashboard
参考链接:
https://github.com/alibaba/DataX/blob/master/userGuid.md(DataX指南)
https://github.com/WeiYe-Jing/datax-web(DataX-Web指南)
网友评论