使用Kettle工具进行增量数据同步

作者: 叫我老村长 | 来源:发表于2019-12-25 22:29 被阅读0次

增量同步的方式有很多种，我使用的是: 快照表 + 触发器
需求：

当主库库表发生增删改时，从库库表与主库库表数据保持一致。

环境：
1、Mysql
2、kettle 7.1

思路：

1、在主库中，将需要同步的库表新建快照表，表结构一致。

#创建同步临时表(insert)
DROP TABLE IF EXISTS brch_temp_insert;
CREATE TABLE brch_temp_insert like brch;

#创建同步临时表(delete)
DROP TABLE IF EXISTS brch_temp_delete;
CREATE TABLE brch_temp_delete like brch;

#创建同步临时表(update)
DROP TABLE IF EXISTS brch_temp_update;
CREATE TABLE brch_temp_update like brch;

2、在主库中，分别新增库表的增、删、改的触发器。

#创建同步表触发器(insert)
DROP TRIGGER IF EXISTS tri_insert_brch;
CREATE TRIGGER tri_insert_brch 
AFTER INSERT ON brch
FOR EACH ROW
BEGIN
     insert into brch_temp_insert
     (  
        ROW_ID,
        BRCH_ID,
        BRCH_NAME
    ) 
    values(
        new.ROW_ID,
        new.BRCH_ID,
        new.BRCH_NAME
    );
END;

#创建同步表触发器(delete)
DROP TRIGGER IF EXISTS tri_delete_brch;
CREATE TRIGGER tri_delete_brch 
AFTER delete ON brch
FOR EACH ROW
BEGIN
     insert into brch_temp_delete(
        ROW_ID
    ) 
    values(
        old.ROW_ID
    );
END;

#创建同步表触发器(update)
DROP TRIGGER IF EXISTS tri_update_brch;
CREATE TRIGGER tri_update_brch 
AFTER update ON brch
FOR EACH ROW
BEGIN
     insert into brch_temp_update(
        ROW_ID,
        BRCH_ID,
        BRCH_NAME
    ) 
    values(
        new.ROW_ID,
        new.BRCH_ID,
        new.BRCH_NAME
    );
END;

2、新建一个转换，该转换只针对一张表的增删改。