2021年大数据Flink(二十九):Flink 容错机制 Savepoint
目录
Savepoint
Savepoint介绍
Savepoint VS Checkpoint
Savepoint演示
Savepoint
Savepoint介绍
Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩
在实际开发中,可能会遇到这样的情况:如要对集群进行停机维护/扩容...
那么这时候需要执行一次Savepoint也就是执行一次手动的Checkpoint/也就是手动的发一个barrier栅栏,那么这样的话,程序的所有状态都会被执行快照并保存,
当维护/扩容完毕之后,可以从上一次Savepoint的目录中进行恢复!
Savepoint VS Checkpoint
Savepoint演示
# 启动yarn session/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d# 运行job-会自动执行Checkpoint/export/server/flink/bin/flink run --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 手动创建savepoint--相当于手动做了一次Checkpoint/export/server/flink/bin/flink savepoint 702b872ef80f08854c946a544f2ee1a5 hdfs://node1:8020/flink-checkpoint/savepoint/# 停止job/export/server/flink/bin/flink cancel 702b872ef80f08854c946a544f2ee1a5# 重新启动job,手动加载savepoint数据/export/server/flink/bin/flink run -s hdfs://node1:8020/flink-checkpoint/savepoint/savepoint-702b87-0a11b997fa70 --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 停止yarn sessionyarn application -kill application_1607782486484_0014
2021年大数据Flink(二十九):Flink 容错机制 Savepoint相关推荐
- 2021年大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...
- 2021年大数据Spark(十九):Spark Core的共享变量
目录 共享变量 广播变量 累加器 案例演示 共享变量 在默认情况下,当Spark在集群的多个不同节点的多个任务上并行运行一个函数时,它会把函数中涉及到的每个变量,在每个任务上都生成一个副 ...
- 2021年大数据Hadoop(十五):Hadoop的联邦机制 Federation
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 Hadoop的联邦机制 Federation 背景概述 F ...
- 2021年大数据Hadoop(十四):HDFS的高可用机制
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 HDFS的高可用机制 HDFS高可用介绍 组件介绍 Nam ...
- 2021年大数据Kafka(十二):❤️Kafka配额限速机制❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka配额限速机制 限制producer端的速率 限制c ...
- 2021年大数据HBase(十二):Apache Phoenix 二级索引
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 前言 Apache Phoenix 二级索引 一.索引分类 ...
- 2021年大数据Hive(十二):Hive综合案例!!!
全网最详细的大数据Hive文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 前言 Hive综合案例 一.需求描述 二.项目表的字段 三.进 ...
- 2021年大数据Kafka(十):kafka生产者数据分发策略
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 生产者数据分发策略 策略一:用户指定了partition 策 ...
- 2021年大数据HBase(十六):HBase的协处理器(Coprocessor)
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 HBase的协处理器(Coprocessor) 一.起源 二 ...
- 2021年大数据HBase(十五):HBase的Bulk Load批量加载操作
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 HBase的Bulk Load批量加载操作 一.Bulk L ...
最新文章
- 有关 ecshop 属性 {$goods.goods_attr|nl2br} 标签的赋值问题
- iOS单例模式定义与使用
- 数据表示字面量整型字面量
- N-gram统计语言模型(总结)
- 电脑维修的十大原则,你都认同吗?
- 妈妈培养天才的13绝招
- java实现单向循环链表_java实现的带头单向循环链表
- 如何判断Intent有没有对应的Activity去处理?
- 联想微型计算机电脑黑屏怎么做系统,联想电脑黑屏怎么办 5种方法轻松排除黑屏故障...
- 凌云一周看点 | 从运维和SRE角度看监控分析平台建设;从操作系统层面分析Java IO演进之路;机器学习落地的五个阶段...
- hadoop与hive
- 学习C语言,有哪些值得推荐的经典书籍?
- HbuilderX 运行到小程序模拟器
- HDU4889 Scary Path Finding Algorithm
- 数学建模快速入门(6)二维图和三维图
- MID-TERM EXAMINATION 1
- Python基础知识总结(期末复习精简版)
- 为什么一个手机有两个mac地址?
- Win10 常用快捷键总结
- C++ 标准库函数与宏定义的名字冲突
热门文章
- 2022-2028年中国丙烯酸酯橡胶行业市场深度分析及投资前景分析报告
- Python机器学习——Agglomerative层次聚类
- LeetCode简单题之两个数对之间的最大乘积差
- TVM部署预定义模型
- NVIDIA Turing Architecture架构设计(上)
- 将深度学习低延迟推理性能提高一倍
- Django 第三方引用富文本编辑器6.1
- setTimeout、setInterval、promise、async/await的顺序详解(多种情况,非常详细~)
- android layout组件,Android UI学习 - Linear Layout, RelativeLayout
- xlrd.biffh.XLRDError: Unsupported format, or corrupt file: Expected BOF record; found b‘b\x14#e\xbc\