2021年大数据Kafka(八):Kafka如何保证数据不丢失
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注!
新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。
目录
系列历史文章
Kafka如何保证数据不丢失
一、如何保证生产者数据不丢失
1) 消息生产分为同步模式和异步模式
2) 消息确认分为三个状态
3) 在同步模式下
4) 在异步模式下
二、如何保证broker端数据不丢失
broker端:
三、如何保证消费端数据不丢失
消费端:
四、总结
生产者端
broker端
消费端
系列历史文章
2021年大数据Kafka(十二):❤️Kafka配额限速机制❤️
2021年大数据Kafka(十一):❤️Kafka的消费者负载均衡机制和数据积压问题❤️
2021年大数据Kafka(十):kafka生产者数据分发策略
2021年大数据Kafka(九):kafka消息存储及查询机制原理
2021年大数据Kafka(八):Kafka如何保证数据不丢失
2021年大数据Kafka(七):Kafka的分片和副本机制
2021年大数据Kafka(六):❤️安装Kafka-Eagle❤️
2021年大数据Kafka(五):❤️Kafka的java API编写❤️
2021年大数据Kafka(四):❤️kafka的shell命令使用❤️
2021年大数据Kafka(三):❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
2021年大数据Kafka(二):❤️Kafka特点总结和架构❤️
2021年大数据Kafka(一):❤️消息队列和Kafka的基本介绍❤️
Kafka如何保证数据不丢失
一、如何保证生产者数据不丢失
1) 消息生产分为同步模式和异步模式
2) 消息确认分为三个状态
- a) 0:生产者只负责发送数据
- b) 1:某个partition的leader收到数据给出响应
- c) -1:某个partition的所有副本都收到数据后给出响应
3) 在同步模式下
- a) 生产者等待10S,如果broker没有给出ack响应,就认为失败。
- b) 生产者重试3次,如果还没有响应,就报错。
4) 在异步模式下
- a) 先将数据保存在生产者端的Buffer中。Buffer大小是2万条。 32M
- b) 满足数据阈值或者时间阈值其中的一个条件就可以发送数据。
- c) 发送一批数据的大小是500条。16Kb
二、如何保证broker端数据不丢失
broker端:
- broker端的消息不丢失,其实就是用partition副本机制来保证。
- Producer ack -1(all). 能够保证所有的副本都同步好了数据。其中一台机器挂了,并不影响数据的完整性。
三、如何保证消费端数据不丢失
消费端:
四、总结
生产者端
broker端
broker端主要是通过数据的副本和 ack为-1 来保证数据不丢失操作
消费端
-
2021年大数据Kafka(八):Kafka如何保证数据不丢失相关推荐
- Kafka(八)----Kafka Tool 2.0.7(最新)版本超详细使用指北
Kafka Tool 2.0.7版本使用指北 本篇博客要点如下: Kafka Tool 2.0.7下载安装 Kafka Tool 2.0.7参数优化及连接Kafka集群 Kafka Tool 2.0. ...
- 大数据面试总结-kafka
1.什么是kafka? kafka是分布式发布-订阅消息系统,是一种分布式的消息队列工具 kafka是一个分布式的,可分区的,可复制的消息系统 kafka对消息保存的时候根据topic进行分类,发送消 ...
- Kafka(Go)教程(九)---如何避免消息丢失?
来自:指月 https://www.lixueduan.com 原文:https://www.lixueduan.com/post/kafka/09-avoid-msg-lost/ 本文主要从 Pro ...
- 生活质量衡量系统_数据质量与数据质量八个维度指标
数据质量与数据质量八个维度指标 数据的质量直接影响着数据的价值,并且直接影响着数据分析的结果以及我们以此做出的决策的质量.质量不高的数据不仅仅是数据本身的问题,还会影响着企业经营管理决策:错误的数据还 ...
- 企业数据战略中,什么样的数据才能算是真正的数据资产
后疫情时代,数字化的发展似乎又进行了一次加速,线上化的娱乐工作生活更快速的进行了普及,相当一部分的企业进行了远程工作的尝试,同时很多教学工作也已经被网课所替代.不得不感叹,短短数年的时间里人和社会的改 ...
- 数据治理系列:浅谈数据质量管理
题外话:看过之前的文章的小伙伴不难发现,文章开篇几乎都是定义.概念,这已成了笔者写文章的一个习惯.本着对专业知识和技术的敬畏以及对文章主题的聚焦,笔者认为文章的开篇是非常有必要先把概念或定义交待清楚的 ...
- 2021年大数据Kafka(十二):❤️Kafka配额限速机制❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka配额限速机制 限制producer端的速率 限制c ...
- 2021年大数据Kafka(十一):❤️Kafka的消费者负载均衡机制和数据积压问题❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka的消费者负载均衡机制和数据积压问题 一.kafka ...
- 2021年大数据Kafka(十):kafka生产者数据分发策略
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 生产者数据分发策略 策略一:用户指定了partition 策 ...
最新文章
- 混合线性模型+mixed linear model+GEEs+GLMM+LMM
- XML,Object,Json分析转换Xstream采用
- 《 Java并发编程从入门到精通》Thread安全与不安全
- 【PHP7源码分析】PHP7到底有多快,基准测试与特性分析告诉你
- Agile Manifesto and principle
- Unable to connect to the Redgate Client Service
- 在线浏览器录屏软件!妈妈再也不用担心我的windows找不到录屏软件啦!
- 6.方法(go语言学习笔记)
- 有用的Chrome扩展介绍 - Octotree - GitHub code tree
- bash shell 中时间操作常用方法总结
- 重读经典:《Generative Adversarial Nets》
- dorado-初学1
- 打开网页出现运行脚本错误的解决技巧
- linux中脚本后台执行的方法
- python进阶 pdf_Python进阶(Intermediate_Python)_中文PDF彩色版.pdf
- iOS 横线贯穿文字
- 简单好听的id_简单好听的微信id
- 5G 38.300 Rel15 中文版
- Jenkins的windows10 从节点经常性掉线问题解决
- Android 基于google Zxing实现二维码 条形码扫描,仿微信二维码扫描效果
热门文章
- 【golang程序包推荐分享】分享亿点点golang json操作及myJsonMarshal程序包开发的踩坑经历 :)
- Git 常用操作(4)- 更改提交
- 存在量词后必须用合取式?-数学
- 机器翻译评测——BLEU算法详解 (新增 在线计算BLEU分值)评估
- Bert系列(三)——源码解读之Pre-train
- 8080CPU寄存器划分
- 网络模型mAP计算实现代码
- 2021年大数据Kafka(一):❤️消息队列和Kafka的基本介绍❤️
- Redis持久化 - RDB和AOF
- OverflowError: cannot fit ‘int‘ into an index-sized integer
- Kafka(八)----Kafka Tool 2.0.7(最新)版本超详细使用指北