一、Logstash
使用Logstash的版本号与elasticsearch版本号需要保持一致，JDK需要预先装好
1.Logstash是elastic技术栈中的一个技术，它是一个数据采集引擎，可以从数据库采集数据到es，我们可以通过设置自增id主键或者时间来控制数据的自动同步，这个id或者时间就是用于给logstash进行识别的
id：假设现在有1000条数据，logstach识别后会进行同步，同步完汇集了这个id为1000，以后数据库新增数据，那么id会一直累加，Logstach有定时任务，发现有大于1000的id，则增量加入到es
时间：同理，一开始同步1000条数据，每条数据都有一个字段time，初次同步完毕后记录time，下次同步的时候进行时间对比，如果有超过这个时间的，那么可以做同步。这里可以同步新增的或者修改元数据，因为同一条数据的时间更改会被识别，而id则不会。
2.插件logstash-input-jdbc
此插件用于同步，es6.x起自带，这个是集成在logstash中。
3.同步数据到es中，前提得要有索引，需手动创建好
二、安装与配置
1.上传并解压logstash
解压到/usr/local目录
2.创建配置文件及其所在的路径
3.拷贝数据库驱动
4.配置文件内容logstash-db-sync.conf
input {
jdbc {
# 设置 MySql/MariaDB 数据库url以及数据库名称
jdbc_connection_string => "jdbc:mysql://192.168.1.6:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "root"
# 数据库驱动所在位置，可以是绝对路径或者相对路径
jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
# 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
# 开启分页
jdbc_paging_enabled => "true"
# 分页每页数量，可以自定义
jdbc_page_size => "10000"
# 执行的sql文件路径
statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
# 设置定时任务间隔 含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
schedule => "* * * * *"
# 索引类型
type => "_doc"
# 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
use_column_value => true
# 记录上一次追踪的结果值
last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
# 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
tracking_column => "updated_time"
# tracking_column 对应字段的类型
tracking_column_type => "timestamp"
# 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
clean_run => false
# 数据库字段名称大写转小写
lowercase_column_names => false
}
}
output {
elasticsearch {
# es地址
hosts => ["192.168.1.187:9200"]
# 同步的索引名
index => "foodie-items"
# 设置_docID和数据相同
document_id => "%{id}"
}
# 日志输出
stdout {
codec => json_lines
}
}
5.配置文件中的sql脚本demo
以实际为准，要同步到es的数据
6.启动
./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf
网友评论