美文网首页
2019-10-09 kafka

2019-10-09 kafka

作者: 小苏c | 来源:发表于2019-10-09 15:28 被阅读0次

1、Kafka 的设计是什么样的呢?

Kafka 将消息以 topic 为单位进行归纳

将向 Kafka topic 发布消息的程序成为 producers.

将预订 topics 并消费消息的程序成为 consumer.

Kafka 以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个 broker.

producers 通过网络将消息发送到 Kafka 集群,集群向消费者提供消息

2、数据传输的事物定义有哪三种?

数据传输的事务定义通常有以下三种级别:

最多一次: 消息不会被重复发送,最多被传输一次,但也有可能一次不传输

最少一次: 消息不会被漏发送,最少被传输一次,但也有可能被重复传输.

精确的一次(Exactly once): 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次,这是大家所期望的

3、Kafka 高效文件存储设计特点:

Kafka 把 topic 中一个 parition 大文件分成多个小文件段,通过多个小文件段,就容易定期清除或删除已经消费完文件,减少磁盘占用。

通过索引信息可以快速定位 message 和确定 response 的最大大小。

通过 index 元数据全部映射到 memory,可以避免 segment file 的 IO 磁盘操作。

通过索引文件稀疏存储,可以大幅降低 index 文件元数据占用空间大小。

相关文章

网友评论

      本文标题:2019-10-09 kafka

      本文链接:https://www.haomeiwen.com/subject/rzdgpctx.html