Kafka会数据写到硬盘上。磁盘空间有限，kafka有提供清理过期数据的策略。
Kafka删除数据有两种方式：
1. 第一种是按照时间，超过一段时间后删除过期消息；
2. 第二种是按照消息大小删除数据的，消息数量超过一定大小后删除最旧的数据。
确认在过期数据过期的时候，数据已经被消费！！！！
启用删除策略
log.cleanup.policy=delete
直接删除，删除后的消息不可恢复。
可配置以下两个策略：
清理超过指定时间清理：
log.retention.hours=16
或
log.retention.minutes=60
或
log.retention.ms=3600000
超过指定大小后，删除旧的消息：
log.retention.bytes=1073741824
无论时间还是空间维度，只要满足其中一个log就会被清理。
上面的条件满足了，那多久检查一次呢
log.retention.check.interval.ms=300000
这个参数就是设置检查周期的
前言 Kafka会数据写到硬盘上。磁盘空间有限，kafka有提供清理过期数据的策略。 Kafka删除数据有两种方式...
消息持久化和缓存Kafka高度依赖文件系统来存储和缓存消息。一般的人都认为“磁盘是缓慢的”，这使得人们对“持久化结...
kafka的特点： 1.消息持久化：通过0（1）的磁盘数据结构提供数据的持久化，kafka中可以存储数据，存储量决...
今天改写之前的项目，由于之前对于kafka的认知不足，简单的以为是和rabbitmq都是amqp的一种实现，...
需要redis5.0 ，借鉴kafka，消息可持久化
Redis持久化方式 Redis有两种持久化的方式：快照（RDB文件）和追加式文件（AOF文件）： RDB持久化方...
Redis持久化 两种方式持久化： RDB持久化 - 全量 AOF持久化 - 增量 RDB持久化 RDB文件的生成...
持久化 文件系统 Kafka在消息的存储和缓存中重度依赖文件系统。 磁盘如果合理使用，性能可以非常高。 在一个6张...
持久化原理 Kakfa 依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构能否提供...
一、数据持久化 开启持久化功能后，重启redis，数据会自动通过持久化文件恢复！！ 1、redis持久化 – 两种...
本文标题：Linux- kafka持久化文件太大怎么办？
本文链接：https://www.haomeiwen.com/subject/tnnaaftx.html
网友评论