美文网首页Kafka
【kafka学习笔记】Kafka的演进历史

【kafka学习笔记】Kafka的演进历史

作者: 快乐的提千万 | 来源:发表于2022-02-21 14:40 被阅读0次

kafka的类型

目前 有 3 种 Kafka 可供选择:

  • Apache Kafka 一般日常提到的 Kafka 都指的是 Apache Kafka,这是最“正宗”的 Kafka,也称为 社区版 Kafka。
  • Confluent Kafka,Confluent 公司是 Kafka 的 3 个创始人 Jay Kreps、Naha Narkhede 和饶军离开 LinkedIn 创办的,它主要从事商业化 Kafka 工具开发,并在此基础上发布了 Confluent Kafka。Confluent Kafka 提供了一些 Apache Kafka 没有的高级特性,比如跨数据中心备份、Schema 注册中心以及集群监控工具等。
  • Cloudera/Hortonworks Kafka:Cloudera 提供的 CDH 和 Hortonworks 提供的 HDP 是非常著名的大数据平台,里面集成了目前主流的大数据框架,当然也包括 Apache Kafka,因此我把这两款产品中的 Kafka 称为 CDH Kafka 和 HDP Kafka。

特点比较

  • Apache Kafka
    • 优势是开发人数最多、版本迭代速度最快的 Kafka,且社区比较活跃,对开发者友好。劣势在于它仅仅提供最最基础的组件,没有提供任何监控框架或工具。
    • 如果你仅仅需要一个消息引擎系统亦或是简单的流处理应用场景,同时需要对系统有较大把控度,那么我推荐你使用 Apache Kafka。
  • Confluent Kafka 目前分为免费版和企业版两种。前者和 Apache Kafka 非常相像,除了常规的组件之外,免费版还包含 Schema 注册中心和 REST proxy 两大功能。后者用开放 HTTP 接口的方式允许你通过网络访问 Kafka 的各种功能,这两个都是 Apache Kafka 所没有的。
    • 优势在于集成了很多高级特性且由 Kafka 原班人马打造,质量上有保证;缺陷在于相关文档资料不全,普及率较低,没有太多可供参考的范例。
    • 如果你需要用到 Kafka 的一些高级特性,那么推荐你使用 Confluent Kafka。
  • CDH/HDP Kafka,这些大数据平台天然集成了 Apache Kafka,通过便捷化的界面操作将 Kafka 的安装、运维、管理、监控全部统一在控制台中。使用起来非常方便,不过这样做的结果是直接降低了你对 Kafka 集群的掌控程度。
    • 优势在于操作简单,节省运维成本;缺陷在于把控度低,演进速度较慢。
    • 如果你需要快速地搭建消息引擎系统,或者你需要搭建的是多框架构成的数据平台且 Kafka 只是其中一个组件,那么我推荐你使用这些大数据云公司提供的 Kafka。

kafka的版本

目前 Kafka 已经迭代到了 2.8.0 版本。再下载 Kafka 时会发现 Kafka 的版本号大概是这样的:

Scala 2.12 - kafka_2.12-2.8.0.gz
Scala 2.13 - kafka_2.13-2.8.0.gz

前面的版本号是编译 Kafka 源代码的 Scala 编译器版本,如 2.12 或者 2.13。

Kafka 服务器端的代码完全由 Scala 语言编写,后面 2.8.0 才是 Kafka 的版本号。由 3 个部分构成,即“大版本号 - 小版本号 - Patch 号“。

image

不论你用的是哪个版本,都请尽量保持服务器端版本和客户端版本一致,否则你将损失很多 Kafka 为你提供的性能优化收益。还有就是在生产环境不要贸然升级到最新版本,新版本多多少少都存在一些小问题,至少要在测试环境确认没问题后再升级。

相关文章

  • 【kafka学习笔记】Kafka的演进历史

    kafka的类型 目前 有 3 种 Kafka 可供选择: Apache Kafka 一般日常提到的 Kafka ...

  • Kafka灵魂三十问

    核心篇 1、 Kafka只是消息引擎系统吗?2、Kafka 未来的演进路线是怎么样的?3、为什么 Kafka 不像...

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • Kafka相关文章索引(2)

    基本常识 kafka主要配置 Kafka配置说明 Kafka学习整理四(Producer配置) Kafka学习整理...

  • kafka学习笔记-kafka基础

    参考:极客时间-Kafka核心技术与实战 kafka术语 消息(Record):kafka要处理的主要对象。 主题...

  • [Kafka 101-3] 使用Java API消费数据实战

    Kafka 101系列文章目标:整理学习Kafka的基本使用、Kafka的常用配置和Kafka的重要原理。 本文介...

  • Kafka学习笔记

    Kafka 学习笔记 内容大部分引用自Info - Apache Kafka:下一代分布式消息系统 原文作者Abh...

  • sptest

    # Spring Kafka 学习笔记 ## 1 接收消息 接收消息需要提供MessageListenerCont...

  • Kafka学习笔记

    kafka笔记 0. Kafka 安装 下载 wget http://mirrors.shu.edu.cn/apa...

  • 【kafka】为什么要学习Kafka?

    KAFKA官方文档入门指南 http://ifeve.com/kafka-1 为什么要学习Kafka? http:...

网友评论

    本文标题:【kafka学习笔记】Kafka的演进历史

    本文链接:https://www.haomeiwen.com/subject/akhilrtx.html