美文网首页MySQL面试必知
JDBC自动同步Mysql 数据到Elasticsearch7.

JDBC自动同步Mysql 数据到Elasticsearch7.

作者: realPeanut | 来源:发表于2020-03-31 16:26 被阅读0次

    将数据同步到es中得时候,我们一般使用es客户端API将数据同步索引到es服务器,下面分享一种自动同步的方式,性能优缺点自行判断。

    准备工作

    elasticsearch 安装  版本7.6.1

    logstash 安装  版本7.6.1

    mysql jdbc下载 点击下载  版本8.0.17

    将jdbc 文件放到logstash-core/lib/jars 下面

    mysql 安装  版本 5.7+

    不管使用哪个版本的es 和 logstash  两者的版本应该保持一致

    我要同步的是user 表  

    结构如下,updated_at 是更新时间unix时间戳,我这里写的测试数据 ,

    后面logstash 会根据最大更新时间来近实时同步数据到es

    user

    新建配置文件 配置内容如下 ,文件名随便起,我这里用的是,mysql.conf

    配置文件

    启动es 

    启动 logstash 

    sudo ./logstash -f mysql.conf

    输出如下

    启动图

    至此同步进程启动,可以查看打印的sql,logstash 通过 时间判断来进行增量更新

    相关文章

      网友评论

        本文标题:JDBC自动同步Mysql 数据到Elasticsearch7.

        本文链接:https://www.haomeiwen.com/subject/sbowuhtx.html