美文网首页Kafka
十五年架构师:再有面试官问你Kafka,就拿出这篇笔记怼S他

十五年架构师:再有面试官问你Kafka,就拿出这篇笔记怼S他

作者: Java领域指导者 | 来源:发表于2020-08-21 13:56 被阅读0次

    写在前面

    Kafka是一个高度可扩展的消息系统,它在LinkedIn的中央数据库管理中扮演着十分重要的角色,因其可水平扩展和高吞吐率而被广泛使用,现在已经被多家不同类型的公司作为多种类型的数据管道和消息系统。

    kafka的外在表现很像消息系统,允许发布和订阅消息流,但是它和传统的消息系统有很大的差异:

    首先,kafka是个现代分布式系统,以集群的方式运行,可以自由伸缩

    其次,kafka可以按照要求存储数据,保存多久都可以

    第三,流式处理将数据处理的层次提示到了新高度,消息系统只会传递数据。kafka的流式处理能力可以让我们用很少的代码就能动态的处理派生流和数据集。所以,kafka不仅仅是个消息中间件

    kafka不仅仅是个消息中间件,同时它是个流平台,这个平台上可以发布和订阅数据流(kafka的流,有一个单独的包stream的处理),并把它们保存起来,进行处理,这个就是kafka的设计理念。

    那么,如何学习Kafka?

    有了学习路线,接下来要做的就是补充自己的核心知识库,丰富自己的知识面。

    在这里,我要安利的就是十五年架构师整理的学习Kafka的文档秘籍——《Kafka笔记》

    因篇幅限制,为了不影响大家的阅读体验,小编这里只是大概的介绍一下,有需要下载原件的朋友们,可以直接转发+关注,并私信回复 【学习】即可得到免费下载方式哦~~~

    第1章对Kafka的基础概念进行笼统的介绍,之后讲解如何安装与配置Kafka,以及通过简单的生产消费消息的示例让读者能够快速地入门。

    第2章主要是针对生产者客户端的讲解,包括生产者客户端参数、消息的发送、序列化、分区器、拦截器、原理解析等内容。

    第3章主要是针对消费者客户端的讲解,包括消费者客户端参数、主题与分区的订阅、反序列化、消息的消费、位移提交、再均衡、拦截器、多线程实现等内容。

    第4章主要介绍主题与分区的管理,包括创建主题、修改主题、删除主题、主题端参数配置、优先副本、分区重分配、复制限流,以及对分区数抉择的探讨等内容。

    第5章主要讲解日志存储相关的内容,包括文件目录的布局、日志格式的演变、日志清理的细节、底层存储的原理等内容。

    第6章主要对Kafka服务端的一些内部核心内容进行详细的阐述,包括协议设计、延时操作、控制器、leader 的选举等内容。

    第7章主要是对Kafka客户端相关的原理剖析,当然其中也需要牵涉服务端的内容。这一章包括消费端分区分配策略、消费者协调器和组协调器、_ consumer_ offsets 的剖析、事务的介绍等内容。

    第8章主要对可靠性、一致性等核心原理进行陈述,本章内容最为抽象,主要包括失效副本、ISR 伸缩、LEO与HW、Leader Epoch的介入、日志同步机制、可靠性分析等内容。

    第9章主要是对Kafka相关应用的一些补充,包括一些重要的管理工具,还有Kafka Connect、Kafka Mirror Maker和Kafka Streams等内容。

    第10章是与Kafka监控相关的内容,监控作为Kafka生态中的- -个必备内容,有着相当重要的地位,通过学习本章的内容可以让读者对整个监控的脉络设计和底层实现有清晰的认知。

    第11章是对Kafka做一些功能性的扩展,包括过期时间、延时队列、死信队列、重试队列、消息路由、消息轨迹、消息审计、消息代理等内容,最后还通过对消息中间件选型的阐述以期让读者对整个消息中间件领域有发散性的思考。

    第12章主要讲述的是Kafka 与Spark 集成的一些内容,包括Spark 基本概念、Spark Streaming、Structured Streaming,以及它们与Kafka集成的细节等内容。

    深入学习Kafka笔记后,是否想对自己进行一下测试,看自己达到了什么水平?

    这里小编已经把Kafka常见面试题整理好了,大家可以参考一下,如果现在你就在面试,又是否能顺利通过呢?

    kafka面试真题(附答案)

    Kafka 的设计时什么样的呢?

    数据传输的事物定义有哪三种?

    Kafka 判断一个节点是否还活着有那两个条件?

    producer 是否直接将数据发送到 broker 的 leader(主节点)?

    Kafa consumer 是否可以消费指定分区消息?

    Kafka 消息是采用 Pull 模式,还是 Push 模式?

    Kafka 存储在硬盘上的消息格式是什么?

    Kafka 高效文件存储设计特点

    Kafka 与传统消息系统之间有三个关键区别

    Kafka 创建 Topic 时如何将分区放置到不同的 Broker 中

    Kafka 新建的分区会在哪个目录下创建

    partition 的数据如何保存到硬盘

    kafka 的 ack 机制

    Kafka 的消费者如何消费数据

    消费者负载均衡策略

    数据有序

    kafaka 生产数据时数据的分组策略

    因篇幅限制,为了不影响大家的阅读体验,小编只是截取了部分内容,有需要深度了解学习的朋友,还是老规矩,转发+关注小编,私信回复【学习】即可哦~~~

    写在后面

    关于十五年架构师的kafka学习路线笔记和面试真题,如果你都能掌握,那么再面对面试官的提问下,相信你能够更从容的应对(怼死)他,成就自己的大厂梦~~~

    最后,这些kafka的学习路线笔记和面试真题,小编已经都帮大家整理好了,有需要深度学习的朋友,记得三连(转发+关注+私信),私信回复【学习】即可免费领取哦~~~

    予人玫瑰,手留余香。希望大家多多点赞评论转发,关注小编,你们的支持就是小编创作的最大的动力哦~~~

    相关文章

      网友评论

        本文标题:十五年架构师:再有面试官问你Kafka,就拿出这篇笔记怼S他

        本文链接:https://www.haomeiwen.com/subject/tsuujktx.html