一、kafka简介

kafka，ActiveMQ,RabbitMQ是当今最流行的分布式消息中间件，其中kafka在性能及吞吐量方面是三者中的佼佼者，不过最近查阅官网时，官方与它的定义为一个分布式流媒体平台。kafka最主要有以下几个方面作用：

• 发布和订阅记录流，类似于消息队列或企业消息传递系统。
• 以容错持久的方式存储记录流。
• 处理记录发生的流

kafka有四个比较核心的API 分别为：

• producer:允许应用程序发布一个消息至一个或多个kafka的topic中

• consumer:允许应用程序订阅一个或多个主题，并处理所产生的对他们记录的数据流

• stream-api: 允许应用程序从一个或多个主题上消费数据然后将消费的数据输出到一个或多个其他的主题当中，有效地变换所述输入流，以输出流。类似于数据中转站的作用

• connector-api:允许构建或运行可重复使用的生产者或消费者,将topic链接到现有的应用程序或数据系统。官网给我们的示意图：

  
  image.png

kafka关键名词解释：

• producer：生产者。
• consumer：消费者。
• topic: 消息以topic为类别记录,每一类的消息称之为一个主题(Topic)。为了提高吞吐量，每个消息主题又会有多个分区
• broker：以集群的方式运行,可以由一个或多个服务组成，每个服务叫做一个broker;消费者可以订阅一个或多个主题(topic),并从Broker拉数据,从而消费这些已发布的消息。
  　每个消息（也叫作record记录,也被称为消息）是由一个key，一个value和时间戳构成。

主题与日志：

每一个分区(partition)都是一个顺序的、不可变的消息队列,并且可以持续的添加。分区中的消息都被分了一个序列号,称之为偏移量(offset),在每个分区中此偏移量都是唯一的。Kafka集群保持所有的消息,直到它们过期,无论消息是否被消费了。实际上消费者所持有的仅有的元数据就是这个偏移量，也就是消费者在这个log中的位置。 这个偏移量由消费者控制：正常情况当消费者消费消息的时候，偏移量也线性的的增加。但是实际偏移量由消费者控制，消费者可以将偏移量重置为更老的一个偏移量，重新读取消息。 可以看到这种设计对消费者来说操作自如， 一个消费者的操作不会影响其它消费者对此log的处理。 再说说分区。Kafka中采用分区可以处理更多的消息，不受单台服务器的限制。Topic拥有多个分区意味着它可以不受限的处理更多的数据。

image image