DataX 开发之MySql同步到Phoenix5.x

reader部分参数请参考MysqlReader 插件文档
writer部分参数请参考HBase20xsqlwriter插件文档

这里不说怎么同步数据，官方文档有说明。这里重点说采坑的部分

错误1

截屏2021-05-08 15.45.34.png

原因是下载的DataX/plugin/writer 文件下面没有编译Phoenix插件
下载DataX源码，自己编译：DataX源码

(1)、下载DataX源码：
$ git clone git@github.com:alibaba/DataX.git

(2)、通过maven打包：
$ cd  {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功，日志显示如下：

[INFO] BUILD SUCCESS
[INFO] -----------------------------------------------------------------
[INFO] Total time: 08:12 min
[INFO] Finished at: 2015-12-13T16:26:48+08:00
[INFO] Final Memory: 133M/960M
[INFO] -----------------------------------------------------------------

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ，结构如下：

$ cd  {DataX_source_code_home}
$ ls ./target/datax/datax/
bin     conf        job     lib     log     log_perf    plugin      script

把编译后生成的hbase20xsqlwriter拷贝到DataX/plugin/writer/文件夹下面，重新执行job就可以了

错误2

截屏2021-05-08 16.51.40.png

报这个错误是因为Phoenix设置schema，但是writer的参数里面没有加schema,加上就好了。

schema
描述：表所在的schema
必选：否
默认值：无