美文网首页
Kafkka 集群搭建

Kafkka 集群搭建

作者: 摩V羯座 | 来源:发表于2019-03-04 10:22 被阅读0次

    下载安装kafka(管理界面kafka-manager)

    1.下载kafka_2.10-0.10.2.2.tgz

    解压到 /usr/local/kafka

    2.进入config,修改server.properties

    #每台服务器的broker.id都不能相同 
    broker.id=1
    # 端口 
    port=19092 
    # 主机名 
    host.name=192.168.86.143 
    # 是否可以删除
    topic delete.topic.enable=true
     # 具体一些参数
    log.dirs=/usr/local/kafka/logs
    log.retention.hours=24
    log.cleanup.policy=delete message.max.byte=5242880 
    default.replication.factor=2 replica.fetch.max.bytes=5242880 
    # 设置zookeeper集群地址与端口  
    zookeeper.connect=192.168.86.140:2181,192.168.86.143:2181,192.168.86.144:2181
    

    3.cd /data/kafka/kafka_2.12-0.11.0.0/bin

    启动

    ./kafka-server-start.sh -daemon ../config/server.properties

    创建topic

    ./kafka-topics.sh --create --zookeeper 192.168.86.136:2181,192.168.86.131:2181,192.168.86.133:2181 --replication-factor 2【复制2份】 --partitions 1【分区数量】 --topic xxx【topic名称】

    查看topic属性

    ./kafka-topics.sh --describe --zookeeper 192.168.1.140:2181 --topic myfirsttopic

    查看已创建的topic

    ./kafka-topics.sh --list --zookeeper 192.168.1.140:2181

    Kafka启动出错

    java: kafka-run-class.sh 中添加 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191

    安装配置kafka-manager

    git上下载kafka-manager

    在echo $HOME的路径下 新建隐藏文件.sbt

    在.sbt下新建文件repositories

    修改内容为:

    [repositories]
    
    local
    
    aliyun: http://maven.aliyun.com/nexus/content/groups/public
    
    typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
    

    进入kafka-manager路径下执行: ./sbt clean dist

    执行完后,在target/universal目录下会生成一个kafka-manager-1.3.3.7.zip压缩文件

    这里有已编译好的,可自行下载
    链接:https://pan.baidu.com/s/11jK8i07GN0Ww_XO4HIq9Hg
    提取码:oxfx

    将其解压到要部署的目录下

    打开conf下的application.conf

    修改内容为:

    kafka-manager.zkhosts="192.168.86.140:2181,192.168.86.143:2181,192.168.86.144:2181“

    在解压目录下执行:bin/kafka-manager

    打开localhost:9000

    相关文章

      网友评论

          本文标题:Kafkka 集群搭建

          本文链接:https://www.haomeiwen.com/subject/gudbuqtx.html