使用Flink的Savepoint功能

Flink通过Savepoint功能可以做到程序升级后，继续从升级前的那个点开始执行计算，保证数据不中断。

Flink中Checkpoint用于保存状态，是自动执行的，会过期，Savepoint是指向Checkpoint的指针，需要手动执行，并且不会过期。

据Flink路线图，后面Savepoint会和Checkpoint合并成一个，不像现在这样分成两个，而且一个自动、一个手动了。

1.flink-conf.yaml中配置Savepoint存储位置

不是必须设置，但是设置后，后面创建指定Job的Savepoint时，可以不用在手动执行命令时指定Savepoint的位置

state.savepoints.dir: hdfs://t-sha1-flk-01:9000/flink-savepoints

2.列出当前Job

[teld@T-SHA1-FLK-01 log]$ flink list
------------------ Running/Restarting Jobs -------------------
aaaaaaaaaaaa : 8eaee3ed045c14337568c1cf3a272a45 : MonitorEngine_V1.0_SH.A1_Minute (RUNNING)
bbbbbbbbbbbb : ca1f3ac0081711ee6a0767fe1fd5b31c : MonitorEngine_V1.0_SH.A1_Second (RUNNING)
--------------------------------------------------------------
No scheduled jobs.

3.停止Job，并将状态写入Savepoint

[teld@T-SHA1-FLK-01 log]$ flink cancel -s ca1f3ac0081711ee6a0767fe1fd5b31c
Cancelling job ca1f3ac0081711ee6a0767fe1fd5b31c with savepoint to default savepoint directory.
Cancelled job ca1f3ac0081711ee6a0767fe1fd5b31c. Savepoint stored inhdfs://t-sha1-flk-01:9000/flink-savepoints/savepoint-ca1f3a-9f86a020ee76.

4.从指定的Savepoint启动Job

[teld@T-SHA1-FLK-01 log]$ flink run -s hdfs://t-sha1-flk-01:9000/flink-savepoints/savepoint-ca1f3a-9f86a020ee76

-p 6 -c cn.teld.monitor.MonitorEngine monitorengine_flink_sec-1.0-jar-with-dependencies.jar

5.建议为Flink程序中的每个操作设置uid以及name

6.从界面提交升级包

前面是通过命令行的方式进行升级，也可以直接通过界面方式进行提交，提交时指定Savepoint路径即可。

转载于:https://www.cnblogs.com/liugh/p/8367671.html

使用Flink的Savepoint功能相关推荐

flink的savepoint实验-scala
大致步骤同[1] 步骤步骤内容 ① 启动Zookeeper,Hadoop,Flink(HA)三种集群(启动顺序不要错) ② mvn clean scala:compile compile packa ...
实时计算 Flink SQL 核心功能解密
2019独角兽企业重金招聘Python工程师标准>>> 实时计算 Flink SQL 核心功能解密 Flink SQL 是于2017年7月开始面向集团开放流计算服务的.虽然是一个非常 ...
flink的Savepoint
其实说到flink的checkpoint,那必然也得讲讲flink的savepoint 什么是 Savepoint ? Savepoint 与 Checkpoint 有什么不同? Savepoint ...
腾讯基于 Flink SQL 的功能扩展与深度优化实践
简介:本文由腾讯高级工程师杜立分享,主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化. 整理:戴季国(Flink 社区志愿者) 校对:苗文婷(Flink 社区志愿者) 摘要:本文由腾讯高级 ...
字节跳动 Flink 单点恢复功能实践
简介:在 Flink 现有的架构设计中,多流 Join 拓扑下单个 Task 失败会导致所有 Task 重新部署,耗时可能会持续几分钟,导致作业的输出断流,这对于线上业务来说是不可接受的.针对这一痛点 ...
flink的savepoint实验-java
前言和一些准备工作首先需要明确的是,savepoint和checkpoint不是同一类, 所以在进行savepoint实验时,代码里不需要添加checkpoint enable选项等． $FLINK ...
字节跳动 Flink 单点恢复功能及 Regional CheckPoint 优化实践
本文介绍了字节跳动在实时计算方面进行的两个实践优化,一是在 Network 层的单点恢复的功能,二是 Checkpoint 层的 Regional Checkpoint. 作者|廖嘉逸一.单点恢复机 ...
Flink Checkpoint/Savepoint
一.CheckPoints 为了使Flink的状态具有良好的容错性,Flink提供了检查点机制(Checkpoints).通过检查点机制,Flink定期在数据流上生成checkpoint barrie ...
flink check-point save-point理解
参考 https://blog.csdn.net/hxcaifly/article/details/84673292 https://www.jianshu.com/p/4d31d6cddc99 ht ...

使用Flink的Savepoint功能

使用Flink的Savepoint功能相关推荐

最新文章

热门文章