美文网首页
Kafka-文件存储

Kafka-文件存储

作者: 洛神灬殇 | 来源:发表于2019-11-06 17:04 被阅读0次

1.文件存储机制

副本数=leader+follower总数,但是不允许同一个分区在同一台broker下面

每一个分区都会维护一个偏移量(offset)信息,follower会同步数据信息从leader,此时会判断offset的数值是否属于最新,进行判断是否属于缺失数据。

只能保持分区内有序性,无法保证全局有序性

topic为逻辑结构、partion为物理结构->对应一个log文件(data数据)

log.segement.bytes=N 这个属于存储log最大文件大小,会创建新的。

对log文件进行分片和索引数据,文件夹命名规范为:topic名称+分区序号

对log文件和索引文件的命名方式:当前segment的第一条数据开始的offset.log/.index

index的存储结构为【offset数值:log文件对应消息的实际消息开始偏移量】(二分法查找)。

log的存储结构为消息数据(seek命令查找定位)

先去查询index文件,然后获取到对于的log的时间偏移量,之后直接去.log文件去查询到检索数据

相关文章

  • Kafka-文件存储

    1.文件存储机制 副本数=leader+follower总数,但是不允许同一个分区在同一台broker下面 每一个...

  • 数据库安装与配置

    安装目录简介 bin: 存储可执行文件 data: 存储数据文件 include:存储包含的头文件 lib:存储库...

  • iOS数据存储

    iOS开发中数据存储有两类:一、存储为文件 如归档、解归档、plist文件存储及偏好设置都是存储为文件二、存储到...

  • MySQL常用存储引擎之CSV

    存储特点 数据以文本方式存储在文件中 .csv文件存储表内容 .csv文件存储表的元数据如表状态和数据...

  • mysql 高级

    关键文件 日志文件 数据文件 配置文件 存储引擎 mysql使用插件式的存储引擎,MySQL存储引擎有InnoDB...

  • 20170104第一行代码第六章数据存储

    持久化技术:文件存储、SharedPreference存储和数据库存储。 一、文件存储 不对存储内容进行任何格式化...

  • 文件存储

    1)打开文件: 在python中用open()这个函数来打开文件并返回文件对象,open()函数有很多参数,其中第...

  • 文件存储

    一:硬盘的存储结构 磁盘的最小存储单位是扇区(Sector ),大小是512B(0.5K)。 连续的8个扇区组成一...

  • 文件存储

    文件存储是 Android 中最基本的一种数据存储方式。 它不对存储的内容进行任何的格式化处理,所有数据都是原封不...

  • 文件存储

    1.openFileInput和openFileOutput的使用 文件的使用,注意最后要用finally给关闭掉...

网友评论

      本文标题:Kafka-文件存储

      本文链接:https://www.haomeiwen.com/subject/reiubctx.html