既然开始猥琐，就猥琐到底吧
作者说过，出于性能考虑，output只能有一个，而kafka output的配置里面只能傻逼地配一个topic，而现实中，我需要把不同日志对应的内容分发到不同topic，现在是一台机起了多个filebeat来实现，这样很恶心。
想过两种思路：
1、从filebeat main函数出发，按照多套配置，每套配置起一个pipeline。这样可以处理1对1的input和output
不过看着那么多锁和信号量，感觉不太靠谱
2、弄个topic数组，跟input的顺序对应起来。
看起来2是可行的。
看了下kafka output的源码，看到了一点有趣的东西
image.png
基础的消息体分成几部分
时间戳、消息头、消息主题、private那个应该暂时filebeat是没用到的
image.png
既然开始猥琐，就猥琐到底吧作者说过，出于性能考虑，output只能有一个，而kafka output的配置里面只能...
Kafka源码分析-网络层-1 Kafka源码分析-网络层-2 Kafka源码分析-网络层-3 Kafka源码分析...
filebeat配置多个topic 查看是否输出到kafka 配置logstash集群 Es查看是否创建索引 lo...
Kafka源码阅读(一)：Kafka Producer整体架构概述及源码分析 zqhxuyuan Kafka源码分...
回顾kafka极简入门(二)--安装 topic是kafka的生产者和消费者最小交互的单位，我们先从topic入手...
阅读以下两个即可 Kafka源码阅读(二)：Producer Metadata概述及源码分析 KafkaProdu...
Android点击事件分发机制源码分析1——ActivityAndroid点击事件分发机制源码分析2——ViewG...
Filebeat > Logstash > Kafka 使用步骤 使用filebeat收集日志到logstash中...
问题定位 查看监控后，发现kafka集群在2017-06-16 16:50分发现 java_log_topic和p...
一、准备环境： 创建Kafka Topic和HBase表 1. 在kerberos环境下创建Kafka Topic...
本文标题：filebeat源码分析二和kafka topic分发featu
本文链接：https://www.haomeiwen.com/subject/fsxqdftx.html
网友评论