怎么解决kafka的数据丢失

producer端：
宏观上看保证数据的可靠安全性，肯定是依据分区数做好数据备份，设立副本数。
broker端：
topic设置多分区，分区自适应所在机器，为了让各分区均匀分布在所在的broker中，分区数要大于broker数。
分区是kafka进行并行读写的单位，是提升kafka速度的关键。

consumer端
consumer端丢失消息的情形比较简单：如果在消息处理完成前就提交了offset，那么就有可能造成数据的丢失。由于Kafka consumer默认是自动提交位移的，所以在后台提交位移前一定要保证消息被正常处理了，因此不建议采用很重的处理逻辑，如果处理耗时很长，则建议把逻辑放到另一个线程中去做。

为了避免数据丢失，现给出两点建议：
enable.auto.commit=false 关闭自动提交位移
在消息被完整处理之后再手动提交位移

怎么解决kafka的数据丢失相关推荐

NET中解决KafKa多线程发送多主题的问题
一般在KafKa消费程序中消费可以设置多个主题,那在同一程序中需要向KafKa发送不同主题的消息,如异常需要发到异常主题,正常的发送到正常的主题,这时候就需要实例化多个主题,然后逐个发送. 在NET中 ...
kafka创建topic_Kafka实战宝典：一文带解决Kafka常见故障处理
Kafka自带常用工具 Kafka的bin目录下shell脚本是kafka自带的管理工具,提供topic的创建/删除/配置修改.消费者的监控.分区重载.集群健康监控.收发端TPS压测.跨机房同步等能 ...
解决页面刷新数据丢失，数据持久化问题
npm i vuex-persistedstate 数据持久化,解决vue中页面刷新,数据丢失的情况
解决kafka启动成功后然后又关闭了的问题
问题: [2021-05-10 11:22:43,263] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kaf ...
【大数据】解决kafka内网连接正常，外网无法连接的问题
1.问题: 做项目联调的时候需要开放kafka,外网映射之后发现,kafka无法通过外网连接 2.解决办法 (1)保证外网映射没有问题,可通过在线端口检测进行测试,地址:http://coolaf.c ...
TCP数据包发送的过程及实际问题解决判断socket是否断开解决socket数据传输数据丢失的问题
文章目录一.头条之问题引出二.tcp发送数据过程三.我的问题解决(判断socket是否断开) 四.头条之问题回答这是篇文章是在看了今日头条后,回想起来自己曾今遇到过的一个关于socket套接字 ...
解决kafka消费积压问题
kafka消费积压前文问题定位积压造成的原因解决方法更改配置优化消费端前文遇到很多问题是因为消费积压导致的数据延迟,数据对校时问题重重.那么今天就记录下解决这个问题. 问题定位消费积 ...
【kafka】已解决 kafka No current assignment for partition
文章目录 1.场景1 1. 1.背景 2.场景2 2.1 概述 2.2 验证本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 1.场景1 本文为博主九师 ...
解决Kafka消费端错误：o.s.kafka.listener.LoggingErrorHandler : Error while processing: null
简单记录下使用kafka遇到的问题,万一也会有小伙伴遇到了呢. 程序端使用springboot服务消费kafka,某天出现消息大量堆积,经过定位到错误日志如下: 2020-05-12 10:22:36 ...

怎么解决kafka的数据丢失

怎么解决kafka的数据丢失相关推荐

最新文章

热门文章