美文网首页
kafka broker

kafka broker

作者: laowangv2 | 来源:发表于2021-05-22 16:08 被阅读0次

一、主题管理

二、KafkaAdminClient

java客户端,提供了API来管理主题

三、管理分区

1.优先副本

背景

kafka分配分区时会均衡的分配到brokers中去,但随着时间推移,集群中的leader分区就会不那么均衡,为了平衡负载,引入优先副本的概念。

概念

优先副本是AR中的第一个副本,kafka保证所有主题的优先副本在集群中是均匀分布的。而理想情况下,leader和优先副本应该相同,由此保证leader副本在集群中的均衡。

选举

随着时间推移,leader可能挂掉,那么久而久之负载情况就不那么均衡了。优先副本的选举就是把优先副本替换成leader的过程。
选举过程可以由参数配置成自动,不过生产环境还是建议手动控制,配合path-to-json-file参数,分批的进行,以减小集群性能上的损耗。

四、分区数

相关文章

  • Kafka多个broker 启动失败

    Kafka多个broker 启动失败 大家都知道Kafka可以部署多个broker,在部署多台broker时,需要...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

  • Kafka 基础原理及工作流程简述

    Kafka 工作流程 基础总结: 1)broker :broker代表kafka的节点,Broker是分布式部署并...

  • 安装kafka

    Kafka的一些概念 Broker : 安装Kafka服务的那台集群就是一个broker(broker的id要全局...

  • Kafka Producer源码

    Kafka Producer Kafka Producer 是 kafka 提供的与 Kafka Broker 连...

  • 删除kafka中的topic

    1 配置kafka broker支持删除topic 删除topic需要kafka broker的支持,在broke...

  • Kafka 介绍

    首先介绍一下kafka相关的名词: broker: 一般一个kafka集群有多个broker节点, broker集...

网友评论

      本文标题:kafka broker

      本文链接:https://www.haomeiwen.com/subject/guonjltx.html