Flink 容错机制主要包括：

一致性检查点（checkpoint）
从检查点恢复状态
Flink 检查点算法
保存点（save points）

一致性检查点（checkpoint）

下图为flink程序处理一个数据流内部的完整过程，我们对改图的处理过程做一个大致的描述就是，有一批数据，比如从1 ~100的数据源不断的被flink的source读取进来；

假如当前的程序要做的事情是，将读取到的奇数和偶数通过两个不同的task进行分别的计算，在某个时刻，flink程序所在环境因为某种原因突然断掉了，试想如果没有某种机制能够保障服务恢复后能够重新按照之前的这个点继续的话，这将是一个很糟糕的事情；

假如flink程序正好是读到5的这个时间点的时候服务挂掉的，设想下，当前的两个并行的task任务的状态，对于奇数的task来说，在source读到5这个数据的时候，已经计算的结果是： 2 + 4 = 6 了，对于偶数任务的task来说，准备计算的结果是： 1 + 3 + 5 = 9；

如果在这个时候，服务挂掉，如果需

Flink 容错机制相关推荐

2021年大数据Flink（二十七）：Flink 容错机制 Checkpoint
目录 Flink 容错机制 Checkpoint State Vs Checkpoint Checkpoint执行流程简单流程复杂流程 State状态后端/State存储介质 MemStateBa ...
带你认识Flink容错机制的两大方面：作业执行和守护进程
摘要:Flink 容错机制主要有作业执行的容错以及守护进程的容错两方面,前者包括 Flink runtime 的 ExecutionGraph 和Execution的容错,后者则包括 JobManag ...
深入理解 Flink 容错机制
本文作者:Paul Lin 本文链接: 2019/07/28/深入理解-Flink-容错机制/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 CN 许可协议.转载请注 ...
Flink 容错机制：Checkpoints、Savepoints
文章目录 Checkpoints(检查点) 恢复流程生成策略 Savepoints(保存点) Checkpoints(检查点) Flink中基于异步轻量级的分布式快照技术提供了Checkpoints ...
[Flink] 容错机制与状态一致性机制
文章目录 1.状态一致性 1.1 状态一致性分类 2.一致性检查点 checkpoint 3.端到端(end-to-end)状态一致性 4. 端到端的精确一次(exactly-once)保证 4.1 ...
2021年大数据Flink（二十九）：Flink 容错机制 Savepoint
目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于 ...
2021年大数据Flink（二十八）：Flink 容错机制自动重启策略和恢复
目录自动重启策略和恢复重启策略配置方式重启策略分类代码演示手动重启并恢复-了解 1.把程序打包 2.启动Flink集群(本地单机版,集群版都可以) 3.访问webUI 4.使用FlinkWe ...
实时流处理系统容错机制（二）：Apache Flink 基于State的异步容错机制
1. Introduce Apache Flink 提供了可以恢复数据流应用到一致状态的容错机制.确保在发生故障时,程序的每条记录只会作用于状态一次(exactly-once),当然也可以降级为至少一 ...
Flink的容错机制
文章目录检查点检查点的保存从检查点恢复状态检查点算法检查点配置 1.启动检查点 2.检查点存储 3.其他高级配置保存点 1.保存点的用途 2.使用保存点状态一致性一致性的概念和级别端 ...
Flink/Blink 原理漫谈（六）容错机制（fault tolerance）详解
系列文章目录 Flink/Blink 原理漫谈(零)运行时的组件 Flink/Blink 原理漫谈(一)时间,watermark详解 Flink/Blink 原理漫谈(二)流表对偶性和distinct ...

Flink 容错机制

Flink 容错机制主要包括：

一致性检查点（checkpoint）

Flink 容错机制相关推荐

最新文章

热门文章