美文网首页
大数据学习之Kafka

大数据学习之Kafka

作者: 我问你瓜保熟吗 | 来源:发表于2021-07-21 11:48 被阅读0次

一、 单节点1个broker

  • 启动kafka:首先启动zookeeper:systemctl start zookeeperkafka-server-start.sh $KAFKA_HOME/config/server.properties
  • 创建topic:kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
  • 查看 topic 信息:kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic quickstart-events
  • 查看所有topic:kafka-topics.sh --list --zookeeper localhost:2181
  • 创建生产者:kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
  • 创建消费者:kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

默认启在9092端口
-zookeeper localhost:2181 替换 --bootstrap-server localhost:9092。--bootstrap-server参数,consumer的信息将会存放在kafka之中,-zookeeper localhost:2181 consumer的信息将会存放在zookeeper之中。
创建consumer时会自动创建topic

二、单节点多broker,伪分布式集群
server.properties复制多个,并修改以下配置,并全部启动(必须得有id=0的broker?)

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-broker1-logs
  • 启动全部broker:kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties
  • 创建主题:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic mytopic
    或者kafka-topics.sh --create --bootstrap-server localhost:9092 localhost:9093,localhost:9094 --replication-factor 3 --partitions 1 --topic mytopic2
  • 查看主题:kafka-topics.sh --describe -zookeeper localhost:2181 --topic mytopic
  • 创建生产者:kafka-console-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic mytopic
  • 创建消费者:kafka-console-consumer.sh --bootstrap-server localhost:9093,localhost:9094,localhost:9095 --from-beginning --topic mytopic

三、多主机集群
待完善。

相关文章

  • Kafka基本原理

    学习来源: 《大数据技术学习之Kafka基本原理》 《kafka官网》 1.简介 Apache Kafka由著名职...

  • Kafka实际案例问题

    kafka consumer防止数据丢失 Kafka学习之怎么保证不丢,不重复消费数据 1 消费者pull数据时,...

  • 大数据学习之Kafka

    一、 单节点1个broker 启动kafka:首先启动zookeeper:systemctl start zook...

  • Kafka之Producer篇

    Kafka之Producer篇 Kafka生产者案例 本篇我们叙述Kafka是如何将数据发送到服务端的;首先我们...

  • python3读写kafka

    消费kafka数据,方式一 消费kafka数据,方式二 将消息写入kafka

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • 深究canal发送kafka消息体过大异常

    上文提到在使用canal同步数据库数据时,发现kafka报消息体过大的错,当时只是调大了kafka的max.me...

  • Kafka0.8集群部署与shell命令行操作

    1、kafka简介在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAFKA...

  • kafka集群搭建

    1、kafka简介在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAFKA...

  • kafka相关知识总结

    一、kafka基础知识 1、kafka是什么 2、kafka生产数据时的分组策略 3、kafka如何保证数据的完全...

网友评论

      本文标题:大数据学习之Kafka

      本文链接:https://www.haomeiwen.com/subject/tgblmltx.html