美文网首页
【kafka】kafka概念、架构

【kafka】kafka概念、架构

作者: Bogon | 来源:发表于2021-12-31 00:30 被阅读0次

Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。

Scala 运行在 Java 虚拟机上,并兼容现有的 Java 程序。

Scala 源代码被编译成 Java 字节码,所以它可以运行于 JVM 之上,并可以调用现有的 Java 类库。

Kafka允许topic的分区拥有若干副本,这个数量是可以配置的,你可以为每个topci配置副本的数量。

Kafka会自动在每个个副本上备份数据,所以当一个节点down掉时数据依然是可用的。

Kafka的副本功能不是必须的,你可以配置只有一个副本,这样其实就相当于只有一份数据。

创建副本的单位是topic的分区,每个分区都有一个leader和零或多个followers.所有的读写操作都由leader处理,一般分区的数量都比broker的数量多的多,各分区的leader均匀的分布在brokers中。

所有的followers都复制leader的日志,日志中的消息和顺序都和leader中的一致。flowers向普通的consumer那样从leader那里拉取消息并保存在自己的日志文件中。

同一个消费者组的消费者,不能消费同一个partition的数据,但是可以消费不同的分区。

一个消费者,可以同时消费多个topic数据。

对客户端的请求,只能由各分区的leader来处理,zookeeper 管理集群相关元数据。

相关文章

网友评论

      本文标题:【kafka】kafka概念、架构

      本文链接:https://www.haomeiwen.com/subject/fmeraltx.html