美文网首页
kafka的架构和基本使用

kafka的架构和基本使用

作者: 傻疯子 | 来源:发表于2021-12-09 23:55 被阅读0次

kafka是分布式高吞吐的基于发布订阅模式的消息队列,kafka利用磁盘顺序读写实现了高吞吐。

系统架构

topic:按业务情况进行分组的主题。
partition:分布式下的物理数据分区
producer:消息的生产者
consumer:消息的消费者,可以有多个consumer同时从多个不同的partition去消费。
consumer group:一个业务或一个用途的为一个consumer group,不同之间互不影响。
broker:kaka是分布式,每个节点的实际进程,一个节点一个。

kafka的使用

创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181  --partitions 5 --replication-factor 2 --topic kafka-topic-test

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

查看topic详细信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka-topic-test

删除topic,需要将server.propertie中的delete.topic.enable改为true,否则只会标记为删除状态

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic kafka-topic-test

查看所有consumer group

bin/kafka-consumer-groups.sh --list  --bootstrap-server localhost:9092

查看具体consumer group

bin/kafka-consumer-groups.sh --describe  --bootstrap-server localhost:9092 --group con-1

修改分区数

bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 5 --topic kafka-topic-test

控制台生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafka-topic-test

控制台消费者

//从最新开始消费
bin/kafka-console-consumer.sh --broker-list localhost:9092 --topic kafka-topic-test
//从头开始消费
bin/kafka-console-consumer.sh --broker-list localhost:9092 --topic kafka-topic-test --from-beginning

相关文章

  • kafka的架构和基本使用

    kafka是分布式高吞吐的基于发布订阅模式的消息队列,kafka利用磁盘顺序读写实现了高吞吐。 系统架构 topi...

  • Kafka架构与实战

    Kafka架构与实战 概念和基本架构 Kafka介绍 Kafka是最初由Linkedin公司开发,是一个分布式、分...

  • Kafka总结

    Kafka 体系架构 1. Kafka的用途有哪些?使用场景如何? 消息系统: Kafka 和传统的消息系统(也称...

  • Kafka源码解析与实战

    Kafka的架构 包括Kafka的基本组成,Kafka的拓扑结构以及Kafka的内部通信协议。Kafka内部的通信...

  • kafka

    一、什么是Kafka1、kafka简介 2、kafka基本架构 二、kafka原理 三、Zookeeper在kaf...

  • Kafka

    一、什么是Kafka1、kafka简介 2、kafka基本架构 二、kafka原理 三、Zookeeper在kaf...

  • Spark Streaming实时流处理-3.分布式消息队列Ka

    0. 目录 Kafka概述 Kafka架构及核心概念 Kafka部署及使用 Kafka容错性测试 Kafka AP...

  • Kafka学习

    MQ入门总结(六)Kafka的原理和使用 Kafka的架构原理,你真的理解吗? 真的,Kafka 入门一篇文章就够...

  • [Kafka 101-3] 使用Java API消费数据实战

    Kafka 101系列文章目标:整理学习Kafka的基本使用、Kafka的常用配置和Kafka的重要原理。 本文介...

  • Kafka 学习笔记

    Kafka概述 官网 和消息系统类似 Kafka架构 单节点,单broker的部署及使用 配置 启动 创建topi...

网友评论

      本文标题:kafka的架构和基本使用

      本文链接:https://www.haomeiwen.com/subject/pbjqfrtx.html