美文网首页
【Kafka系列】2.1 服务端 - 基本概念

【Kafka系列】2.1 服务端 - 基本概念

作者: 熊本极客 | 来源:发表于2020-07-28 21:31 被阅读0次

    1.ISR、OSR、AR是什么?

    ISR:In-Sync Replicas 副本同步队列。所有与 leader 副本保持一定程度同步的副本(包括 leader 副本在内)组成ISR(In-Sync Replicas)。

    OSR:Out-of-Sync Replicas。

    AR:Assigned Replicas 所有副本。ISR集合是AR集合中的一个子集。

    replica.lag.time.max.ms :这个参数的含义是Follower副本能够落后Leader副本的最长时间间隔,当前默认值是 10 秒。

    unclean.leader.election.enable:是否允许 Unclean 领导者选举。开启Unclean领导者选举可能会造成数据丢失,但好处是,它使得分区 Leader 副本一直存在,不至于停止对外提供服务,因此提升了高可用性。

    2.LSO、LW、HW、LEO等分别代表什么?

    LSO:LogStartOffset,日志文件的起始偏移量 logStartOffset 一般情况等于第一个日志分段的 baseOffset。通过DeleteRecordsRequest请求,使用KafkaAdminClient的deleteRecords()方法、使用kafka-delete-records.sh脚本、日志的清理和截断等操作。

    HW:High Watermark,俗称高水位,标识了一个特定的消息偏移量(offset),消费者只能拉取到这个 offset 之前的消息。

    LEO:Log End Offset,标识当前日志文件中下一条待写入消息的 offset,如下图中offset 为9的位置即为当前日志文件的 LEO,LEO 的大小相当于当前日志分区中最后一条消息的offset +1

    相关文章

      网友评论

          本文标题:【Kafka系列】2.1 服务端 - 基本概念

          本文链接:https://www.haomeiwen.com/subject/mnbqrktx.html