美文网首页
dataX 同步数据实践

dataX 同步数据实践

作者: 我还是老油条 | 来源:发表于2023-05-04 09:30 被阅读0次
1. 微信截图_20230505092557.png

2.写json 脚本

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "ID",
                            "AJBH",
                            "XCKYBH",
                            "JJBH",
                            "AJMC",
                            "AJXZ",
                            "AJXZMC",
                            "AJLB",
                            "AJLBMC",
                            "DXZPAJLB",
                            "DXZPAJLBMC",
                            "AJFAB",
                            "AJFABMC",
                            "AY",
                            "AYMC",
                            "FAY",
                            "FAYMC",
                            "AJZTDM",
                            "AJZTMC",
                            "FASJ",
                            "FADZ",
                            "FADZXZQH",
                            "FADZXZQHMC",
                            "AJFSKSSJ",
                            "AJFSJSSJ",
                            "JYAQ",
                            "DBJB",
                            "DBJBMC",
                            "SAJZ",
                            "SLSJ",
                            "SLDWDM",
                            "SLDWMC",
                            "LARQ",
                            "LADWDM",
                            "LADWMC",
                            "BADWDM",
                            "BADWMC",
                            "ZBRXM",
                            "ZBRLXDH",
                            "PAFS",
                            "PAFSMC",
                            "PASJ",
                            "PADWDM",
                            "PADWMC",
                            "XKDWDM",
                            "XKDWMC",
                            "KYRXM",
                            "XKDD",
                            "CRIME_TIME_BEGIN",
                            "CRIME_TIME_END",
                            "SHRZJLXBM",
                            "SHRZJLXMC",
                            "SHRLX",
                            "SHRLXMC",
                            "SHRXM",
                            "SHRZJHM",
                            "SHRLXFS",
                            "SHRZHLX",
                            "SHRZHLXMC",
                            "SHR_ACCOUNT_ID",
                            "SHR_ACCOUNT",
                            "SHRBZ",
                            "HJDZ_DZBM",
                            "HJDZ_DZMC",
                            "SJZZ",
                            "XKJYAQ",
                            "SJLY",
                            "XTLY",
                            "DWBM",
                            "DWMC",
                            "CREATE_XM",
                            "CREATE_ID",
                            "CREATE_TIME",
                            "UPDATE_TIME",
                            "SFSC",
                            "REPLICA_STATE",
                            "SUBJECT_ID",
                            "ZCZT",
                            "WJMC",
                            "CLZT",
                            "BDMB_ZTK"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "swk_case"
                                ],
                                "jdbcUrl":
"jdbc:mysql://127.0.0.1:3306/test?
characterEncoding=utf8&useSSL=false&allowMultiQueries=true&serverTimezone=Asia/S
hanghai&zeroDateTimeBehavior=CONVERT_TO_NULL"
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "ID",
                            "AJBH",
                            "XCKYBH",
                            "JJBH",
                            "AJMC",
                            "AJXZ",
                            "AJXZMC",
                            "AJLB",
                            "AJLBMC",
                            "DXZPAJLB",
                            "DXZPAJLBMC",
                            "AJFAB",
                            "AJFABMC",
                            "AY",
                            "AYMC",
                            "FAY",
                            "FAYMC",
                            "AJZTDM",
                            "AJZTMC",
                            "FASJ",
                            "FADZ",
                            "FADZXZQH",
                            "FADZXZQHMC",
                            "AJFSKSSJ",
                            "AJFSJSSJ",
                            "JYAQ",
                            "DBJB",
                            "DBJBMC",
                            "SAJZ",
                            "SLSJ",
                            "SLDWDM",
                            "SLDWMC",
                            "LARQ",
                            "LADWDM",
                            "LADWMC",
                            "BADWDM",
                            "BADWMC",
                            "ZBRXM",
                            "ZBRLXDH",
                            "PAFS",
                            "PAFSMC",
                            "PASJ",
                            "PADWDM",
                            "PADWMC",
                            "XKDWDM",
                            "XKDWMC",
                            "KYRXM",
                            "XKDD",
                            "CRIME_TIME_BEGIN",
                            "CRIME_TIME_END",
                            "SHRZJLXBM",
                            "SHRZJLXMC",
                            "SHRLX",
                            "SHRLXMC",
                            "SHRXM",
                            "SHRZJHM",
                            "SHRLXFS",
                            "SHRZHLX",
上传脚本到 bin目录下
"SHRZHLXMC",
                            "SHR_ACCOUNT_ID",
                            "SHR_ACCOUNT",
                            "SHRBZ",
                            "HJDZ_DZBM",
                            "HJDZ_DZMC",
                            "SJZZ",
                            "XKJYAQ",
                            "SJLY",
                            "XTLY",
                            "DWBM",
                            "DWMC",
                            "CREATE_XM",
                            "CREATE_ID",
                            "CREATE_TIME",
                            "UPDATE_TIME",
                            "SFSC",
                            "REPLICA_STATE",
                            "SUBJECT_ID",
                            "ZCZT",
                            "WJMC",
                            "CLZT",
                            "BDMB_ZTK"
                        ],
                        "preSql": [],
                        "postSql": [],
                        "connection": [
                            {
                                "jdbcUrl":
"jdbc:mysql://127.0.0.1:3306/test?
characterEncoding=utf8&useSSL=false&allowMultiQueries=true&serverTimezone=Asia/S
hanghai&zeroDateTimeBehavior=CONVERT_TO_NULL",
"table": [
                                    "swk_case_test"
                                ]
                            }
                        ],
                        "loadProps": {}
                    }
                }
            }
        ]
    }
}
image.png
4. image.png

相关文章

  • dataX是阿里开源的离线数据库同步工具的使用

    dataX是阿里开源的离线数据库同步工具的使用 DataX介绍: DataX 是阿里开源的一个异构数据源离线同步工...

  • 开源数据同步工具——datax

    开源数据同步工具——datax DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQ...

  • DataX 3.0简介 安装及使用

    DataX3.0离线同步工具介绍 一. DataX3.0概览 ​DataX 是一个异构数据源离线同步工具,致力于实...

  • DataX Web使用体验入门

    一、DataX Web是什么 DataX web是在DataX的基础上开发的分布式的数据同步工具,方便DataX的...

  • DataX系列1-DataX介绍

    一. DataX 概述   DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Or...

  • 数据同步工具

    mysql ---> es 数据同步工具 数据同步工具介绍 基本介绍一下工具 DataX, 离线导入导出 Sqoo...

  • 数据技术篇

    大数据阶段 数据采集层(1)数据库同步(DataX/同步中心)(2)消息中间件(离线、实时) 数据计算层 数据服务...

  • 使用datax的RDBMSReader抽取hive表

    datax简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle...

  • DataX及DataX-Web使用教程

    DataX介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle...

  • datax使用说明

    datax介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle...

网友评论

      本文标题:dataX 同步数据实践

      本文链接:https://www.haomeiwen.com/subject/pnlxsdtx.html