美文网首页
kafka读写高效的总结

kafka读写高效的总结

作者: 瓢鳍小虾虎 | 来源:发表于2021-04-21 11:40 被阅读0次

写入:

  1. 顺序写,性能要远远优于散列写
  2. 使用了操作系统的page cache

读取:

  1. 顺序读,kafka的数据本身就是顺序存储的,又因为page cache读数据的时候使用的是预读机制,和kafka读取的数据顺序完全契合,保证了高命中率,读取自然高效。

预读机制,page cache读取数据的时候,不会一下子把目标文件全量加载到内存中,会先加载一部分,然后后面再多加载一些,如果下一次读取正好是多加载这些内容,则称为“命中”,于是page cache会依次再从磁盘读取后面的数据,kafka的读取相当于从缓存顺序读取。这样即节约内存,又达到了高效读取。

  1. 零copy,kafka内部使用了大量的netty的api,这里零copy是指kafka读取数据不经过jvm,直接从操作系统page cache读取再发送给网卡。

相关文章

  • kafka读写高效的总结

    写入: 顺序写,性能要远远优于散列写 使用了操作系统的page cache 读取: 顺序读,kafka的数据本身就...

  • Kafka 总结

    Kafka是一个高效的MQ,自己总结Kafka主要是靠以下几点:1,磁盘的顺序读写性能高,2,NIO的Zer...

  • Kafka高效读写

    Kafka高效读写数据 1)Kafka本身是分布式集群,同时采用分区技术,并发度高。 2)顺序写磁盘 Kafka的...

  • kafka——高效读写数据

    一、顺序写磁盘 Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端...

  • Kafka-高效读写效率

    1读写方式 1.1 顺序读写磁盘 kafka得producer生产数据,要写入到log文件中,写的过程是一直追...

  • kafka学习系列

    Kafka学习总结(一)——Kafka简介 Kafka学习总结(二)——Kafka设计原理 Kafka学习总结(三...

  • python从kafka消费数据且写入kafka

    简单记录一个读写kafka demo

  • linux专题 1:page cache

    之前在总结kafka高性能依仗的技术时提到,读写使用了linux 的pagecache,本文来研究一下page c...

  • Java技术面试-Kafka

    1. activeMq与kafka的区别 吞吐量(1)activeMq较低,磁盘随机读写 ;(2)kafka较高...

  • kafka:replica副本同步机制

    1 前言 Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等...

网友评论

      本文标题:kafka读写高效的总结

      本文链接:https://www.haomeiwen.com/subject/mywalltx.html