最终运行时，是ETL算子进行数据转换。某个ETL算子负责将业务数据的某些表的存量和增量数据进行转换。测试物料用来构建ETL算子开发的测试环境，主要包括一个数据库全量备份，和一个增量数据。算子实际运行时，先将线上某时刻的存量数据转换，然后算子作为slave实时或者定时同步线上数据变更，并转换。
- 为了便于和过往数据报告对照验证数据提取逻辑，以线上数据作为测试数据集
- 由于线上数据量较大（备份恢复过程需要400G），也为了减少对线上业务的影响，所以用某时刻的全量备份做了线上镜像数据库，为了加快ETL开发，测试数据比较小，可以只从镜像中获取需要的数据
- 过程中使用mysqldump，percona xtrabackup等，并且在容器中运行
网友评论