mysql数据增量同步

1. 源表增加时间戳字段

alter table 表名 add `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '自动更新时间戳';

2. 手动全量同步源表到目标表

3. 利用kettle或者其他ETL工具数据抽取

每天抽取一次数据的sql:

select * from 表名 where DATE_FORMAT(update_time, '%Y-%m-%d') = date_sub(curdate(), INTERVAL 1 DAY)
#利用任务计划每天凌晨抽取昨天的数据。

每小时抽取一次数据的sql:

select * from 表名 where DATE_FORMAT(update_time, '%Y-%m-%d %H')= DATE_FORMAT (DATE_SUB(NOW(),INTERVAL 1 HOUR ), '%Y-%m-%d %H')
#利用任务计划没小时执行一次，抽取上一个小时的数据。