美文网首页
kafka相关

kafka相关

作者: 大龄程序员在帝都 | 来源:发表于2017-01-03 14:12 被阅读9次

1、查看kafka进程:

jps -m

jps -v

如何使用jps命令

按照官方建立zookeeper集群,出现一个问题

cannot open channel to 1 at election address java.net.connectexception connection refused

出现以上错误,始终无法通过:
最终解决方法

修改对应配置:

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
clientPort=2181
initLimit=5
syncLimit=2
server.1=0.0.0.0:2888:3888
server.2=slave-2:2888:3888
server.3=slave-3:2888:3888

注意 0.0.0.0代表本机

而且/etc/hosts文件中需要修改对应的配置:

106.75.92.75 slave-1
106.75.92.73 slave-2
106.75.92.84 slave-3

对ip进行主机重命名:

kafka防止日志过多,通过设置时间和文件大小进行定期删除

这里需要说明的是,默认Kafka会使用ZooKeeper默认的/路径,这样有关Kafka的ZooKeeper配置就会散落在根路径下面,如果 你有其他的应用也在使用ZooKeeper集群,查看ZooKeeper中数据可能会不直观,所以强烈建议指定一个chroot路径,直接在 zookeeper.connect配置项中指定:

zookeeper.connect=192.168.169.91:2181,192.168.169.92:2181,192.168.169.93:2181/kafka

num.partitions 1 默认partition数量,如果topic在创建时没有指定partition数量,默认使用此值,建议改为5

这篇文章安装的kafka比较新和我的版本一致,可以进行参考

kafka原理分析讲的非常不错

相关文章

  • kafka相关

    1、查看kafka进程: 如何使用jps命令 按照官方建立zookeeper集群,出现一个问题 出现以上错误,始终...

  • Kafka相关

    关于Kafka的比较好的博客Kafka

  • Kafka相关

    Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方...

  • kafka常用的命令

    今天学习了一下kafka的原理以及相关命令,把kafka相关的常用命令整理出来 直接进入到kafka的bin目录下...

  • Kafka 跨集群同步方案

    该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题,主要使用Kafka内置的MirrorMaker工...

  • kafka 常用运维命令介绍(二)

    一、producer 相关命令 1. kafka-console-producer 生产消息 使用kafka-c...

  • Kafka 最佳实践

    Kafka 基本配置及性能优化 这里主要是 Kafka 集群基本配置的相关内容。 硬件要求 Kafka 集群基本硬...

  • kafka和zookeeper详解

    一、kafka 架构和原理 1.1 相关概念 [图1] 1.2 zookeeper 节点 kafka 在 zook...

  • kafka删除topic及其相关数据

    kafka删除topic及其相关数据 1、删除kafka存储目录(server.properties文件log.d...

  • Kafka相关文集

    Kafka 运维 kafka集群配置 kafka的安装(包括zookeeper) 原理及使用 Kafka之sync...

网友评论

      本文标题:kafka相关

      本文链接:https://www.haomeiwen.com/subject/bexnvttx.html