美文网首页
kettle全量同步数据库简易教程

kettle全量同步数据库简易教程

作者: TinyThing | 来源:发表于2021-01-29 16:39 被阅读0次

    1 前言

    项目中经常会对数据库进行全量同步,常常使用数据库工具进行导入导出,但是这种方式并不适用域所有场景,例如数据量大、生产环境不允许登录服务器等情况。
    所以对于以上特殊情况我们常常采用kettle或者datax等工具进行数据同步。本文介绍kettle做整个数据库同步的方法。

    2 下载kettle

    官网比较卡,所以上镜像网站下载(8.2版本):
    http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/
    如果你想从官网下载,注意百度搜索出来的那个不是官网,这个才是:
    https://community.hitachivantara.com/s/article/data-integration-kettle

    3 入门

    image.png

    可以看到进入kettle后主要有转换和作业两入口,转换就是配置一个数据etl的过程,包括数据输入、数据映射、数据过滤、数据存储等;而作业就是可配置的定时任务。

    4 数据库全量同步

    1)创建数据库连接


    image.png
    image.png

    这里要注意,mysql数据库如果连接不上,往往是数据库驱动的问题,下载5版本的mysql驱动最新版放到目录中的lib和libswt\win64下即可。

    接下来点击工具=>向导=>复制多表向导 ;选择源数据库和目标数据库


    image.png

    选择要同步的表


    image.png
    填写任务名称和存储路径:
    image.png

    可以看到任务已经生成,点击执行即可:


    image.png

    5 注意事项

    相关文章

      网友评论

          本文标题:kettle全量同步数据库简易教程

          本文链接:https://www.haomeiwen.com/subject/fkfqtltx.html