mysql数据实时同步到elasticsearch

作者: freelamb | 来源:发表于2017-09-16 20:47 被阅读544次

mysql数据同步ES问题汇总
2019-08-11
Springboot系列 --- 利用Binlog和Kafka实
Springboot系列 --- 利用Binlog和Kafka实
利用Binlog和Kafka实时同步mysql数据到Elasti
利用Binlog和Kafka实时同步mysql数据到Elasti
使用go-mysql-elasticsearch同步mysql数
从一个监控项目谈Spring Boot 的简约
mysql数据实时同步到Elasticsearch
mysql数据实时同步到elasticsearch

elasticsearch

要求

全量数据同步
增量实时同步

关注指标

数据丢失
消息延迟

方案

方案一

使用elasticsearch-jdbc，独立的第三方工具

通过SQL语句进行全量和增量同步

Elasticsearch-JDBC暂时还不支持Elasticsearch 5.0
https://github.com/jprante/elasticsearch-jdbc/issues/915

https://github.com/jprante/elasticsearch-jdbc/tree/master

方案二

logstash-jdbc，logstash官方插件

通过SQL语句进行全量和增量同步

https://www.elastic.co/blog/logstash-jdbc-input-plugin

方案三

go-mysql-elasticsearch第三方开源项目

通过同步Mysql的binlog日志进行增量同步

https://github.com/siddontang/go-mysql-elasticsearch

参考

同步 MySQL 数据到 Elasticsearch

elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解

MySQL到Elasticsearch的同步之路

INSERT INTO LOGSTASH SELECT DATA FROM DATABASE

网友评论

悟空wukong:Mark

本文标题：mysql数据实时同步到elasticsearch

本文链接：https://www.haomeiwen.com/subject/zprjsxtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

mysql数据实时同步到elasticsearch

要求

关注指标

方案

方案一

方案二

方案三

参考

相关文章

mysql数据同步ES问题汇总

2019-08-11

Springboot系列 --- 利用Binlog和Kafka实

Springboot系列 --- 利用Binlog和Kafka实

利用Binlog和Kafka实时同步mysql数据到Elasti

利用Binlog和Kafka实时同步mysql数据到Elasti

使用go-mysql-elasticsearch同步mysql数

从一个监控项目谈Spring Boot 的简约

mysql数据实时同步到Elasticsearch

mysql数据实时同步到elasticsearch

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

ELK stack

物联网相关技术研究