一、设计思想
将一个分区中的数据划分到不同的文件当中去，每一个文件按顺序存储一部分数据，所有分区的第一个Segment就是用20位0来编号的Segment文件。该文件达到一定条件之后不再存，开始往下一个Segment文件进行存储。
意义：
（1）加快查询效率
· 通过将分区的数据根据 Offset 划分到多个比较小的Segment文件，在检索数据时，可以根据Offset 快速定位数据所在的Segment
· 加载单个Segment文件查询数据，可以提高查询效率
（2）删除数据时减少IO
· 删除数据时，Kafka 以 Segment 为单位删除某个Segment的数据，避免一条一条删除，增加 IO 负载，性能较差
二、Segment 的基本实现
.log：存储真正的数据
.index/.timeIndex ：存储对应的.log文件的索引
Segment 的划分规则：满足任何一个条件都会划分segment
（1）按照时间周期生成
#默认7天。如果达到7天，重新生成一个新的Segment
log.roll.hours = 168
（2）按照文件大小生成
#默认大小是1个G。如果一个Segment存储达到1G，就构建一个新的Segment
log.segment.bytes = 1073741824
三、Segment文件的命名规则
以当前文件存储的最小offset来命名的
加快查询效率：通过文件名的对比，可以快速定位到数据存储在哪个Segment文件中。我们通过加载索引文件到内存，可以快速定位到距离要查到的offset最近的物理偏移量的位置，从而拉取这一批次的数据，加载这一批次的数据来读取。
四、索引文件介绍
索引分为两类：一种是全量索引，一种是稀疏索引。
（1）全量索引指的是：每一条数据对应一条索引；
（2）稀疏索引指的是：部分数据有索引，有一部分数据是没有索引。
优点：减少了索引存储的数据量，加快索引的检索效率。
什么时候生成一条索引？
由下面的属性设置决定。默认情况下，.log文件每增加4096字节，在.index 中增加一条索引。
#.log文件每增加4096字节，在.index中增加一条索引
log.index.interval.bytes=4096
Kafka中选择使用了稀疏索引
查看.log文件和.index文件内容的相关命令如下：
//查看.index文件的内容
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.index --print-data-log
//查看.log文件的内容
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log
.log文件内容示例
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log
Dumping 00000000000000000000.log
Starting offset: 0
baseOffset: 0 lastOffset: 3 count: 4 baseSequence: -1 lastSequence: -1 producerId: -1 producerEpoch: -1 partitionLeaderEpoch: 0 isTransactional: false isControl: false position: 0 CreateTime: 1660546405649 size: 117 magic: 2 compresscodec: NONE crc: 1789113225 isvalid: true
| offset: 0 CreateTime: 1660546405647 keysize: 1 valuesize: 6 sequence: -1 headerKeys: [] key: 1 payload: kafka1
| offset: 1 CreateTime: 1660546405648 keysize: 1 valuesize: 6 sequence: -1 headerKeys: [] key: 5 payload: kafka5
| offset: 2 CreateTime: 1660546405648 keysize: 1 valuesize: 6 sequence: -1 headerKeys: [] key: 7 payload: kafka7
| offset: 3 CreateTime: 1660546405649 keysize: 1 valuesize: 6 sequence: -1 headerKeys: [] key: 8 payload: kafka8
可以看到.log文件包含了每条数据的offset、创建时间key\value的值等信息。
.index文件内容示例
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.index --print-data-log
Dumping 00000000000000000000.index
offset: 0 position: 0
Mismatches in :/export/server/kafka_2.12-2.4.1/datas/bigdata0815-0/00000000000000000000.index
Index offset: 0, log offset: 3
您在 /var/spool/mail/root 中有新邮件
如上，可以看到.index文件只有两列，一列是offset，一列是position.
五、.index文件索引内容解析
两列
第一列 offset 表示这条数据在这个 Segment 文件中的位置，是这个文件的第几条；
第二列 Position : 这条数据在 Segment 文件中的物理偏移量
栗子：
#是这个文件中的第几条数据，该数据在这个文件中的物理偏移量位置【相对于这个文件来讲，这条数据是在这个文件中的第几条】
1,0 --表示这个文件中的第一条，在文件中的位置是第0个字节开始
3,497 --表示这个文件中的第三条，在文件中的位置是第497个字节开始
六、检索数据的流程
step1: 先根据 offset 计算这条 offset 是这个文件中的第几条；【假设请求的offset 是 368772，则这条offset 在这个文件中是 368772 - 368769 = 3 + 1 = 4 ，则这个文件中的第四条数据】
step2: 读取.index索引文件，根据二分检索，从索引中找到离这条数据最近偏小的位置；【根据二分检索，在 .index 索引文件找到对应的最近偏小的位置】
step3: 读取.log 文件从最近位置读取到要查找的数据
问题：为什么不直接将offset作为索引的第一列，而用一个相对偏移量作为第一列？
（1）直接offset 作为索引的第一列，随着offset越来越大，索引变得非常大，查询性能会降低；
（2）通过计算相对偏移量，可以在数据量大的情况下，节省索引的空间，提高检索的效率。
相关面试题：Kafka 使用的索引是怎么设计的？
Kafka 中使用了稀疏索引；
index 索引的第一列是offset 的相对文件的位置，第二列是这条数据在文件中的物理偏移量。
七、Kafka 数据清理
属性配置
//开启清理
log.cleaner.enable = true
//清理规则
log.cleanup.policy = delete
基于存活时间规则：最常用，单位越小，优先级越高
#清理周期
log.retention.ms
log.retention.minutes
log.retention.hours=168/7天
#检查周期，要搭配清理周期来修改
log.retention.check.interval.ms = 300000
#Segment 文件最后修改时间如果满足条件将被删除
基于文件大小规则【一般不用】
#删除文件阈值，如果整个数据文件大小超过设定的阈值，将会删除最老的segment，-1 表示不使用
log.retention.bytes = -1
网友评论