美文网首页
kafka随笔

kafka随笔

作者: 大大大大大大大熊 | 来源:发表于2018-11-21 19:55 被阅读0次

①:读取一个txt文件,不管是不是空行,都可以输入到topic。实测:txt行数:11703,topic记录数目:11703。
②:输入速率设置成1K/S,结果是0.5K/S。可以同时运行多个producer得到目的。
③:topic有多个patition。不用指派patition会均匀写入到各个patition,读取的话也不用指定patition会全读取这个topic的全部内容。spout和patition的个数应该相同,spout多余的话会导致有些空闲。
④:如下数据输入到kafka,跑了16+小时,按速率计算18.36小时


image.png

Kafka在Zookeeper的存储结构

image.png

相关文章

  • kafka随笔

    ①:读取一个txt文件,不管是不是空行,都可以输入到topic。实测:txt行数:11703,topic记录数目:...

  • kafka随笔

    1、kafka producer是线程安全的吗?如何保证的?2、多个producer并行发送和单个producer...

  • Kafka详细的设计和生态系统

    Kafka详细的设计和生态系统 Kafka生态系统 - Kafka核心,Kafka流,Kafka连接,Kafka ...

  • kafka全面认知

    什么是Kafka[#---kafka] Kafka的应用场景[#kafka-----] Kafka的架构[#kaf...

  • Kafka & NSQ

    Kafka & NSQ Kafka kafka struct kafka & consumer group 2ka...

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • Kafka Producer源码

    Kafka Producer Kafka Producer 是 kafka 提供的与 Kafka Broker 连...

  • Kafka 详解一 简介

    目录 Kafka 是什么 Kafka 核心组 Kafka 整体架构以及解析 Kafka数据处理步骤 Kafka名词...

  • kafka详解

    目录 Kafka 是什么 Kafka 核心组 Kafka 整体架构以及解析 Kafka数据处理步骤 Kafka名词...

  • kafka配置KAFKA_LISTENERS和KAFKA_ADV

    kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS 介绍kafka...

网友评论

      本文标题:kafka随笔

      本文链接:https://www.haomeiwen.com/subject/oihhqqtx.html