美文网首页
Kafka 学习记录

Kafka 学习记录

作者: 西门吹牛々 | 来源:发表于2018-10-19 13:55 被阅读15次

名词解释:

  • producer:生产者,就是它来生产“鸡蛋”的。
  • consumer:消费者,生出的“鸡蛋”它来消费。
  • topic:你把它理解为标签,生产者每生产出来一个鸡蛋就贴上一个标签(topic),消费者可不是谁生产的“鸡蛋”都吃的,这样不同的生产者生产出来的“鸡蛋”,消费者就可以选择性的“吃”了。
  • broker:就是篮子了。

概念:

  • kafka作为一个集群运行在一个或多个服务器上。
  • kafka集群存储的消息是以topic为类别记录的。
  • 每个消息是由一个key,一个value和时间戳构成。

核心API:

  • 应用程序使用 Producer API 发布消息到1个或多个topic(主题)。
  • 应用程序使用 Consumer API 来订阅一个或多个topic,并处理产生的消息。
  • 应用程序使用 Streams API 充当一个流处理器,从1个或多个topic消费输入流,并生产一个输出流到1个或多个输出topic,有效地将输入流转换到输出流。
  • Connector API允许构建或运行可重复使用的生产者或消费者,将topic连接到现有的应用程序或数据系统。例如,一个关系数据库的连接器可捕获每一个变化。

关键点:

  • kafka节点之间如何复制备份的?
  • kafka消息是否会丢失?为什么?
  • kafka最合理的配置是什么?
  • kafka的leader选举机制是什么?
  • kafka对硬件的配置有什么要求?
  • kafka的消息保证有几种方式?

相关文章

  • Kafka 学习记录

    名词解释: producer:生产者,就是它来生产“鸡蛋”的。 consumer:消费者,生出的“鸡蛋”它来消费。...

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • kafka集群的搭建

    一、背景 最近在学习 kafka,此处记录一下 mac上 搭建 kafka集群的步骤。 二、安装软件 由于 kaf...

  • kafka源码导入idea

    最近开始学习kafka源码,在将kafka源码导入idea的过程中遇到各种问题,故做此记录。 下载源码从githu...

  • Kafka相关文章索引(2)

    基本常识 kafka主要配置 Kafka配置说明 Kafka学习整理四(Producer配置) Kafka学习整理...

  • kafka 集群搭建

    本文用以记录 kafka 集群安装 基础环境 jdk 1.8zookeeper-3.4.13kafka_2.11-...

  • kafka入门

    一、背景 最近需要使用kafka信息队列,这里记录一篇学习笔记,第一手资料就是kafka的官方文档,以下内容是对官...

  • Kafka基本原理

    学习来源: 《大数据技术学习之Kafka基本原理》 《kafka官网》 1.简介 Apache Kafka由著名职...

  • Kafka万亿级消息实战

    一、Kafka应用 本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天 甚至更高后,我们需...

  • python从kafka消费数据且写入kafka

    简单记录一个读写kafka demo

网友评论

      本文标题:Kafka 学习记录

      本文链接:https://www.haomeiwen.com/subject/hypyzftx.html