1读写方式
1.1 顺序读写磁盘
kafka得producer生产数据,要写入到log文件中,写的过程是一直追加到文件末端为顺序写,同样子的磁盘,顺序写可以达到600m/s,随机写只有100K/s,这与磁盘的急写结构有关,顺序写之所有快,是因为其省区了大量磁头寻址的时间。
1.2 零拷贝技术
考虑到用户空间和内核空间之间的数据拷贝机制。
我们的程序要经过操作系统调用C语言调用操作系统之后调用内核中的程序调用硬盘信息,零拷贝技术,属于减少了内核和用户空间之间的拷贝信息数据信息。
Kafka集群中有一个broker会被选举为Controller,负责管理集群broker的上下线,所有的topic的分区副本分配和leader的选举等工作。
以下为partition的leader选举过程
抢占资源的方式进行选举controller服务功能。就是哪个broker去争取到了controller,那么controller就去,也可能是先来的先抢到的思路。
网友评论