美文网首页
Kafka-高效读写效率

Kafka-高效读写效率

作者: 洛神灬殇 | 来源:发表于2019-11-18 12:18 被阅读0次

    1读写方式

    1.1 顺序读写磁盘

         kafka得producer生产数据,要写入到log文件中,写的过程是一直追加到文件末端为顺序写,同样子的磁盘,顺序写可以达到600m/s,随机写只有100K/s,这与磁盘的急写结构有关,顺序写之所有快,是因为其省区了大量磁头寻址的时间。

    1.2 零拷贝技术

           考虑到用户空间和内核空间之间的数据拷贝机制。

           我们的程序要经过操作系统调用C语言调用操作系统之后调用内核中的程序调用硬盘信息,零拷贝技术,属于减少了内核和用户空间之间的拷贝信息数据信息。

           Kafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有的topic的分区副本分配和leader的选举等工作。

          以下为partition的leader选举过程

          抢占资源的方式进行选举controller服务功能。就是哪个broker去争取到了controller,那么controller就去,也可能是先来的先抢到的思路。

    相关文章

      网友评论

          本文标题:Kafka-高效读写效率

          本文链接:https://www.haomeiwen.com/subject/weivictx.html