kafka

kafka解决了什么问题? - 知乎 (zhihu.com)

Kafka是一款开源的基于发布订阅模式的消息引擎系统，本质上是基于 Zookeeper的分布式的流数据平台，因以下特性而著名：

1、提供Pub/Sub方式的海量消息处理。

2、以高容错的方式存储海量数据流。

3、保证数据流的顺序。

kafka就是一个消息中介。

总结一下，简单说，kafka是一个企业级的消息分发处理系统，可以帮助企业很好的进行多个系统间的消息事务处理，同时支持实时的流处理。

Kafka 的基本术语

消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。

批次：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。

主题：消息的种类称为主题（Topic）,可以说一个主题代表了一类消息。相当于是对消息进行分类。主题就像是数据库中的表。

分区：主题可以被分为若干个分区（partition），同一个主题中的分区可以不在一个机器上，有可能会部署在多个机器上，由此来实现 kafka 的伸缩性，单一主题中的分区有序，但是无法保证主题中所有的分区有序

 每个主题(topic) 包含多个分区(partition)，主题中的分区可以分布在不同的主机(broker)中。

Kafka 能够允许数据的持久化存储，消息被持久化到磁盘，并支持数据备份防止数据丢失，Kafka 底层的数据存储是基于 Zookeeper 存储的，Zookeeper 我们知道它的数据能够持久存储。