Kafka日志清除策略

2024-06-02 22:24:09

日志清除策略

基于时间的删除策略
在server.properity文件中设置如下：

log.retention.hours=168 //7d
log.retention.check.interval.ms=300000 //5min
log.segment.bytes=1073741824 //1G
log.cleaner.delete.retention.ms=86400000 // 1d
log.cleaner.backoff.ms=15000 //15s

每个segment的大小为1GB,每5分钟检查一次是否有segment已经查过了7d,如果有将其标记为deleted。标记为deleted的segment默认会保留1天，清理线程会每隔15秒检查一次，是否有标记为deleted的segment的保留时间超过一天了，如果有将其从文件系统删除。

大家注意，kafka清理时是不管该segment中的消息是否被消费过，它清理的依据为是否超过了指定的保留时间，仅此而已。

基于大小的删除策略

 log.retention.bytes参数默认没有指定。

混合策略

同时指定 log.retention.bytes和log.retention.hours=168 ,那么哪个先达到就以哪个为准.

日志压缩策略

Kafka 还提供了日志压缩（Log Compaction）功能，通过这个功能可以有效的减少日志文件的大小，缓解磁盘紧张的情况，在很多实际场景中，消息的 key 和 value 的值之间的对应关系是不断变化的，就像数据库中的数据会不断被修改一样，消费者只关心 key 对应的最新的 value。因此，我们可以开启 kafka 的日志压缩功能，服务端会在后台启动启动Cleaner 线程池，定期将相同的 key 进行合并，只保留最新的 value 值。

注意

Kafka 日志到达清除时间后,并不会真正清除,只是标记为deleted, 真正删除还有一个延时,这个时间通过log.cleaner.delete.retention.ms参数进行设置

参考

Kafka — 全面解析Kafka以及消息传输流程（一）_Haqiu.Hwang的博客-CSDN博客

Kafka日志清除策略相关推荐

kafka日志清理策略，compact和delete
文章目录 1. kafka日志清理策略概述 2. kafka segment 2.1 segmnet 的作用 2.2 segment生成相关的配置 3. 日志清理delete策略 3.1 delete ...
Kafka日志刷新策略
Kafka的日志实际上是开始是在缓存中的,然后根据策略定期一批一批写入到日志文件中去,以提高吞吐率. 属性名含义默认值 log.flush.interval.messages 消息达到多少条时将数 ...
清理offset_关于 kafka 日志清理策略的问题
现象: 搭建了一个 kafka 服务, 使用 kafka-python 包正常生产数据, 但是 kafka 过五分钟就把我的 topic 删除掉. 但是配置 log 的已经配置了, 我认为 kafka ...
kafka的文件清除策略
一清除策略 Kafka 中默认的日志保存时间为 7 天 ,可以通过调整如下参数修改保存时间.配置文件在kafka的config/server.properties文件中: log.retentio ...
Kafka日志清理之Log Compaction
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
kafka 日志相关配置
日志目录 ${kafka.logs.dir}/server.log :服务器日志 ${kafka.logs.dir}/state-change.log:状态变化日志 ${kafka.logs.dir} ...
ELK+kafka日志系统搭建-实战
日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠 ...
Kafka日志清理之Log Deletion
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
kafka历史数据清理策略以及配置
1.关于Kafka的日志日志的英语是"log",但Kafka的数据文件也被称为log,所以很多时候会造成一定的歧义.在Kafka中,日志分为两种: 数据日志操作日志数据日志是 ...

最新文章

热门文章