美文网首页
Kafka-角色介绍

Kafka-角色介绍

作者: 洛神灬殇 | 来源:发表于2019-11-06 17:03 被阅读0次

1.生产者(productor)

   创建生成消息信息数据,发送到对于的topic数据信息。分区由broker自己分配分区存储(leader/follower)。

2.消费者(consumer)

2.1 消费组(Group)

提高消费能力和吞吐量  

最好是:消费组组中的消费者数目= 分区数

一个分区的数据只允许被同一个消费组里面的一个消费组消费,一个消费组里面的不同消费者不允许消费同一个分区的数据。

如果消费组中的消费组数量超过了分区的数量 就没有意义了!

拉取模式(非推送模式),只面向与leader分区进行消费

3.服务集群(brokers)

3.1:topic(主题)

   指定业务的订阅主题操作,业务分层使用,从属于在某N个分区下面

3.2:partion(分区:有序队列)

   负载均衡topic数据

   提供负载均衡,利用了服务之间的服务器之间的同topic中进行负载均衡

 3.3 leader/follower(分区)(failover机制)

         作为主备使用,不可以同一个服务器上,一个follower和一个leader不允许在一台服务器上。

         发送和消费的对象都是leader。分为主备机制,面向于partion分区。

4.zookeeper(注册中心)

        进行管理整个消息中心集群的节点配置信息。(集群节点配置信息、集群信息配置) 

        0.9版本之前保留消费者的消费配置信息(offset消费偏移量)

        0.9之后再kafka之后存储到本地。(存在7天的磁盘offset)(168个小时)

相关文章

  • Kafka-角色介绍

    1.生产者(productor) 创建生成消息信息数据,发送到对于的topic数据信息。分区由broker自己分...

  • 介绍角色

    女主:姓名 任甘美 年龄 21岁 家庭成员 有个年迈的奶奶(有重病) 有爸爸妈妈(...

  • 角色介绍

    我,叫萧荑(tí)凝,出自《诗经》硕人:手如柔荑,肤如凝脂,领如蝤蛴,齿如瓠犀,螓首蛾眉,巧笑倩兮,美目盼兮。 当...

  • 角色介绍

    姓名:喻毓筠 年龄:和前面那位一样 爱好:阅读,洗澡(一天洗三次嘞) 特长:古琴嘞(啦啦啦) 性格:正经女孩子,安...

  • 角色介绍

    王俊凯:S市三大家族之一,凯氏家族出身,是百年豪门的继承人。他性格霸道,桀骜不驯,天才少年,精通各行各业。长相棱角...

  • 角色介绍

    主角: 唐清风 外貌:头上长两只猫耳朵,平时穿天蓝色衣服。 主要武器:无,纯体术攻击。 主要能力:怪力 墨子昂 外...

  • spark 学习笔记

    Spark学习笔记 Data Source->Kafka->Spark Streaming->Parquet->S...

  • Logstash错误排查之-`Don't know ho

    现象 今天写好logstash后(kafka-》 logstash -》kafka ),本地测试OK后,上线后,疯...

  • 【01】角色介绍

    〖角色介绍〗 姓名:齐奇 英文名:QiQi 性别:女 年龄:不详 相貌:各花入各眼,此处不做评价 爱好:工作 偶像...

  • kafka 内存管理 BufferPool

    闫文亮304 Kafka-生产者-BufferPool 先看注释 结合代码可知,BufferPool负责ByteB...

网友评论

      本文标题:Kafka-角色介绍

      本文链接:https://www.haomeiwen.com/subject/uqvubctx.html