上一篇 <<<Linux环境安装Elasticsearch集群
下一篇 >>>Logstash-input-jdbc实现ES和数据同步操作步骤
1.同步方式
Logstash实现ES与数据库同步：使用定时器方式 、实现简单
MQ实现ES与数据库同步：实时性、复杂性更高、一致性强
2.logstash-input-jdbc同步原理
定时执行一个sql，然后将sql执行的结果写入到流中，
一般的递增字段有两种，AUTO_INCREMENT 的主键id和ON UPDATE CURRENT_TIMESTAMP的update_time字段，
id字段只适用于那种只有插入没有更新的表
update_time更加通用一些，新增和修改的时候都会更改此记录
第一次发送sql请求的时候，修改时间参数值是为系统最开始的时间是1970年，可以查询到所有的数据，然后将最后一条数据的update_time修改时间值记录下来，作为下一次修改时间查询的条件值。
第一条SELECT * FROM user WHERE update_time >='1970'
第二条 SELECT * FROM user WHERE update_time >='2019-07-01 16:18:13
推荐阅读：
<<<Elasticsearch入门知识
<<<Elasticsearch快速原因分析及应用场景
<<<Elasticsearch的存储结构端口及版本控制
<<<Elasticsearch文档映射方式
<<<Elasticsearch的基本及复杂数据类型
<<<Elasticsearch的简易版及结构化查询语句
<<<Elasticsearch默认分词器对中文分词不友好
<<<Elasticsearch自定义分词和分词器
<<<正向索引和倒排索引区别
<<<Elasticsearch中的类型区别汇总
<<<Elasticsearch是如何解决高并发问题
<<<Elasticsearch集群相关名词
<<<Elasticsearch集群及分片实现原理
<<<SpringBoot整合Elasticsearch
<<<Linux环境安装Elasticsearch
<<<Linux环境安装Elasticsearch集群
<<<Logstash-input-jdbc实现ES和数据同步操作步骤
网友评论