mysql数据同步ES问题汇总

mysql数据实时同步到Elasticsearch - 简书

Mysql大批量数据导入ElasticSearch_Stay Focused And Work Hard !!!-CSDN博客_elasticsearch mysql

将Mysql数据导入到ElasticSearch集群_eff666的博客-CSDN博客_如何将mysql中的数据输入到es集群中?

首先要考虑两个问题：

1.全量同步  

2.增量同步

全量同步

1.mysqldump

2.Logstash

3.调用ES api通过代码

增量同步

1.canal  -> kafka -> java代码 ->ES  

2.mypipe

保证增量同步数据的准确性

1.锁表库 

2.停数据库

完整流程

锁表库   -> 开启canal  ->全量同步  -> 解锁库表    -> 增量同步完成  -> 消费kafka -> java代码  ->同步完成

完整流程

同步时间和并发考虑

全量同步时间  1w/s  1小时3600万   =====>  1亿数据一小时搞定需要3w/s  ====>  以此类推