美文网首页
kafka 基础知识整理(二)集群部署示例

kafka 基础知识整理(二)集群部署示例

作者: Graceleeman | 来源:发表于2017-04-12 21:32 被阅读64次

    1、准备好kafka安装包,unzip xxx.zip 解压。


    压缩包网盘地址:http://pan.baidu.com/s/1o8pmH2U
    2、进入到kafka的config目录

    3、先搭建三个节点zk集群,三台机器。
    修改zookeeper.properties如下配置信息。

    cd /home/xxx/data/zookeeper 目录

    每台机器都需要创建myid文件,内容依次为1,2,3
    如下是3台集群服务器样例:

    4、三台机器都修改好zookeeper.properties文件和创建好myid文件
    进入kafka目录


    执行启动zookeeper命令:nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >logs/zookeeper.log 2>1 &

    三台机器都执行启动命令,查看logs/zookeeper.log 文件,没有报错就说明zookeeper集群启动成功了。
    5、着手搭建kafka集群
    修改server.properties配置文件,三个配置相应修改。
    host.name 为各机器的IP地址

    配置文件最下方:

    5、启动kafka三个节点
    进入kafka目录,执行如下命令
    nohup ./bin/kafka-server-start.sh config/server.properties >logs/kafka.log 2>1 &
    6、测试kafka集群
    1-进入kafka根目录,创建topic--test
    bin/kafka-topics.sh --create --zookeeper 192.168.1.xx:2181,192.168.1.xx:2181,192.168.1.xx:2181 --replication-factor 1 --partitions 1 --topic test

    2-列出已创建的topic列表
    bin/kafka-topics.sh --list --zookeeper localhost:2181
    3-模拟客户端去发送消息
    bin/kafka-console-producer.sh --broker-list 192.168.1.xx:9092,192.168.1.xx:9092,192.168.1.xx:9092 --topic test

    4-模拟客户端去接受消息
    bin/kafka-console-consumer.sh --zookeeper 192.168.1.xx:2181,192.168.1.xx:2181,192.168.1.xx:2181 --from-beginning --topic test

    7、自己测试结果

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test

    相关文章

      网友评论

          本文标题:kafka 基础知识整理(二)集群部署示例

          本文链接:https://www.haomeiwen.com/subject/oiymattx.html