美文网首页
Kafka服务端原理学习

Kafka服务端原理学习

作者: 后来丶_a24d | 来源:发表于2020-08-12 20:06 被阅读0次

目录

  • 网络层
    • 服务端顺序性保证
  • API层
  • 日志存储层
  • 副本机制
  • 实际使用
  • 性能优化
  • kafka学习

网络层

服务端顺序性保证

API层

日志存储层

  1. 顺序写入,避免了随机写入带来的随机寻址性能过慢问题
  2. kafka 0拷贝之类的。
  3. 压缩消息是端到端解压,服务端存储仍然是压缩的消息,消费者端才进行解压
  4. 存储Log有很多Log文件包括log数据和log稀疏索引(磁盘空间,内存空间,查找时间的折中方法)文件,topic-partition对应一个文件夹。LogSegment多个log文件。有可能有多个Handle写入Log所以写入时会有同步。
  5. Log使用跳表对多个LogSegment进行管理,因为LogSegment文件命名是与Offset相关,所以好定位,跳表找到对应LogSegement之后,再根据稀疏索引找到对应消息。可把书中图4-22找来说明。read日志操作就是这么搞的,read通过volatile+不可变对象实现线程安全

副本机制

  • 高可用性保证
  • ISR集合,HW,LEO
  • 本地副本远程副本,比如leader副本需要维护几个复制副本,这时候leader副本需要更新本地副本的LEO, 也需要更新远程副本的HW信息,维护集群信息。
  • 复制副本会启动线程同步LEO。

kafka学习

  1. Apache Kafka服务端设计理念
  2. 震惊了!原来这才是Kafka

参考文章

相关文章

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • Kafka服务端原理学习

    目录 网络层服务端顺序性保证 API层 日志存储层 副本机制 实际使用 性能优化 kafka学习 网络层 服务端顺...

  • Kafka源码分析-Server-网络层(1)

    Kafka服务端的架构 在介绍Kafka服务端的代码前,先从整体了解下Kafka服务端的架构: 网络层 Kafka...

  • Spark Streaming + Kafka

    Kafka Receiver 本地测试 服务端测试 Kafka Direct 本地测试 服务端测试

  • Kafka基本原理

    学习来源: 《大数据技术学习之Kafka基本原理》 《kafka官网》 1.简介 Apache Kafka由著名职...

  • [Kafka 101-3] 使用Java API消费数据实战

    Kafka 101系列文章目标:整理学习Kafka的基本使用、Kafka的常用配置和Kafka的重要原理。 本文介...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

  • KafkaProducer源码分析

    Kafka常用术语 Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,...

网友评论

      本文标题:Kafka服务端原理学习

      本文链接:https://www.haomeiwen.com/subject/sudxzhtx.html