美文网首页
多文件方式同步写入elasticsearch数据

多文件方式同步写入elasticsearch数据

作者: 觉释 | 来源:发表于2020-06-06 09:43 被阅读0次

1、假设你已经有同步sql 和pg数据库的两个配置文件。
logstas-sql.conf 和logstas-pgsql.conf

一个 logstash 实例可以借助 pipelines 机制同步多个表,只需要写多个配置文件就可以了,假设我们有两个表 table1 和 table2,对应两个配置文件 logstas-sql.conf 和 logstas-pgsql.conf,

2、在 config/pipelines.yml 中配置

  • pipeline.id: table1
    path.config: "***/sql/logstas-sql.conf"
  • pipeline.id: table2
    path.config: "***/pgsql/logstas-pgsql.conf"
    3、进入 logstash-7.5.1\bin

执行 logstash

相关文章

  • 多文件方式同步写入elasticsearch数据

    1、假设你已经有同步sql 和pg数据库的两个配置文件。logstas-sql.conf 和logstas-pg...

  • pList文件

    pList文件特点: 一,数据写入 写入pList文件的两种方式:手动写入&调方法写入 1,手动写入 2,调用方法...

  • 说说在 Python 中,如何写入文件

    保存数据的一种简单方式,就是将数据写入到文件中。 1 全新写入 将文本数据写入文件, 我们在调用 open() 时...

  • Node之文件流与文件路径操作

    流的基本概念 用途使用异步方式使用同步方式1将文件完整写入缓存区readFilereadFileSync将文件部分...

  • 阅读《Python编程从入门到实践》Day13

    第十章(二) 2、写入文件 保存数据的最简单的方式之一是将其写入到文件中。 (1)写入空文件 要将文本写入文件,需...

  • 四、文件读写

    1.文件读写 (1)文件写入 表格文件读入R语言里,就是数据框,对数据框的修改不会同步到表格文件 (2)将数据框导...

  • Elasticsearch多集群数据同步

    有时多个Elasticsearch集群避免不了要同步数据,网上查找了下数据同步工具还挺多,比较常用的有:elast...

  • 【Node.js】写入文件

    node.js的写入文件和读取文件一样,都是分为同步和异步。 同步写入:fs.writeFileSync() 异步...

  • AOF持久化

    AOF持久化功能的实现可以分为追加(append)、文件写入(write)、文件同步(sync)三个步骤。 数据持...

  • python 文件操作

    fp=open("文件路径","方式") 文件读取 文件写入 文件关闭 文件读取写入方式

网友评论

      本文标题:多文件方式同步写入elasticsearch数据

      本文链接:https://www.haomeiwen.com/subject/bkspactx.html