一，Kafka介绍
Kafka是最初是由linkedin公司开发，是一个分布式，支持分区的（partition），多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统，低延迟的实时系统，Storm/Spark流式处理引擎，web/nginx日志，消息服务等等，用scala语言编写，Linkedin于2020年贡献给了Apache基金会并称为顶级开源项目。
1. kafka的应用场景：
千锋教育
2. kafka中的基本概念
千锋教育
二，kafka的基本知识
1. Kafka的安装
部署一台zookeeper服务器
安装jdk
下载kafka的安装包: Apache Kafka
上传到kafka服务器上： /usr/local/kafka
解压缩压缩包
进入到config目录内，修改server.properties
千锋教育
进入到bin目录内，执行以下命令来启动kafka服务器（带着配置文件）
千锋教育
校验kafka是否启动成功：
进入到zk内查看是否有kafka的节点：/brokers/ids/0
2. 创建topic
千锋教育
Topic是Kafka消息的逻辑划分
3. 发送消息
kafka自带了一个producer命令客户端，可以从本地文件中读取内容，或者我们也可以命令行中直接输入内容，并将这些内容以消息的形式发送到kafka集群中。在默认情况下，每一行会被当作成一个独立的消息。使用kafka的发送消息的客户端，指定发送到的kafka服务器地址和topic
千锋教育
4. 消费消息
对于consumer，kafka同样也携带了一个命令行客户端，会将获取到内容在命令行中输出，默认是消费最新的消息，使用kafka的消费者消费的客户端，从指定kafka服务器的指定topic中消费消息。
千锋教育
几个注意点：
消息会被存储
消息是顺序存储的
消息是有偏移量的
消费时可以指明偏移量进行消费
5. 关于消息的细节
千锋教育
生产者将消息发送给broker，broker会将消息保存在本地的日志文件中
千锋教育
消息的保存时有序的，通过offset偏移量来描述消息的有序性
消费者消费消息时，也是通过offset来描述当前要消费的那条消息的位置
6. 单播消息
在一个kafka的topic中，启动两个消费者，一个生产者，问：生产者发送消息，这条消息是否同时会被两个消费者订阅？
如果多个消费者在同一个消费组，那么只有一个消费者可以收到消息。换言之，同一个消费组中只能有一个消费者收到一个topic中的消息
千锋教育
7. 多播消息
不同的消费组订阅同一个topic，那么不同的消费组中只有一个消费者能收到消息，实际上也是多个消费组中的多个消费者收到了同一个消息。
千锋教育
单播与多播消息的区别
千锋教育
8. 查看消费组的详细信息
查看消费组中的具体信息：比如当前偏移量，最后一条消息的偏移量，堆积的消息数量
千锋教育
Current-offset: 当前消费组已消费偏移量
Log-end-offset: 主题对应分区消息的结束偏移量(HW)
Lag: 当前消费组未消费的消息数
三，Kafka中主题和分区的概念
1. 主题Topic
主题--topic是Kafka中的逻辑概念，kafka通过topic将消息进行分类。不同的topic会被订阅该topic的消费者消费。但是有一个问题，如果说这个topic中的消息非常多，多到需要几个T来存，因为消息会被保存到log日志文件中。为了解决这个文件过大的问题，kafka提出了partition分区的概念。
2. 分区Partition
1). 分区的概念
通过partition将topic中的消息分区来存储，这样的好处有多个：
分区存储，可以解决统一存储文件过大的问题
提供了读写的吞吐量：读和写可以同时在多个分区中进行
千锋教育
2). 创建多分区的主题
千锋教育
3. kafka中消息日志中保存的内容
0000000.log：这个文件中保存的就是消息
__consumer_offsets-49: kafka内部自己创建了__consumer_offsets主题包含了50个分区。这个主题用来存放消费者消费某个主题的偏移量，因为每个消费者都会自己维护着消费的主题的偏移量，也就是说每个消费者会把消费的主题的偏移量自主上报给kafka中的默认主题：consumer_offsets。因此kafka为了提升整个主题的并发性，默认设置了50个分区。
提交到哪个分区：通过hash函数：hash(consumerGroupId)%__consumer_offsets主题的分区数
提交到该主题中的内容是：key是consumerGroupId+topic+分区号，value就是当前的offset的值
文件中保存的消息，默认保存7天，七天后消息会被删除。
网友评论