美文网首页
kafka随笔

kafka随笔

作者: 大大大大大大大熊 | 来源:发表于2018-11-21 19:55 被阅读0次

    ①:读取一个txt文件,不管是不是空行,都可以输入到topic。实测:txt行数:11703,topic记录数目:11703。
    ②:输入速率设置成1K/S,结果是0.5K/S。可以同时运行多个producer得到目的。
    ③:topic有多个patition。不用指派patition会均匀写入到各个patition,读取的话也不用指定patition会全读取这个topic的全部内容。spout和patition的个数应该相同,spout多余的话会导致有些空闲。
    ④:如下数据输入到kafka,跑了16+小时,按速率计算18.36小时


    image.png

    Kafka在Zookeeper的存储结构

    image.png

    相关文章

      网友评论

          本文标题:kafka随笔

          本文链接:https://www.haomeiwen.com/subject/oihhqqtx.html