flink的savepoint实验-java

前言和一些准备工作

首先需要明确的是，savepoint和checkpoint不是同一类，

所以在进行savepoint实验时，代码里不需要添加checkpoint enable选项等．

$FLINK_HOME/conf/flink-conf.yaml中添加

state.savepoints.dir: hdfs://Desktop:9000/flink-savepoints

实验代码采用[2]

------------------------------------------------------------------------------------------------------------------------

实验步骤

首先注意，这个实验在真实集群的standalone中进行，而不是local单节伪分布式集群．

步骤	步骤内容
①	启动Zookeeper,Hadoop,Flink(HA)三种集群(启动顺序不要错)
②	mvn package cd target `flink run -c WordCount /home/appleyuchi/桌面/Flink_Code/flink_state/savepoint/target/bbb-1.0-SNAPSHOT.jar` 得到: Job has been submitted with JobID a5c47eb5cd62ef61f0e0ae66f17aab58
③	flink savepoint a5c47eb5cd62ef61f0e0ae66f17aab58 Savepoint completed. Path: hdfs://Desktop:9000/flink-savepoints/savepoint-a5c47e-bd57d19f884c You can resume your program from this savepoint with the run command.
④	flink cancel a5c47eb5cd62ef61f0e0ae66f17aab58 Cancelling job a5c47eb5cd62ef61f0e0ae66f17aab58. Cancelled job a5c47eb5cd62ef61f0e0ae66f17aab58. WEB UI显示
⑤	flink run -s hdfs://Desktop:9000/flink-savepoints/savepoint-a5c47e-bd57d19f884c -c WordCount -d /home/appleyuchi/桌面/Flink_Code/flink_state/savepoint/target/bbb-1.0-SNAPSHOT.jar Job has been submitted with JobID 00b79db0e9123ebda8dcbb22a8d1e484 通过上述命令恢复以后，会在web ui中看到restore信息被更新同时，之前Task Managers中的结果依然存在我们继续在nc -lk 9999中输入heiheihei，能不能在上述同一个taskmanager中继续输出呢？答案是不能， restore以后的程序在输出结果时，跑到另外一个taskmanager中去了,所以这点有些不完美

上述流程主要参考了[1]

完整代码

Reference

[1]Flink SavePoint

[2]intellij运行flink的wordcount实验-Java版本

flink的savepoint实验-java相关推荐

flink的savepoint实验-scala
大致步骤同[1] 步骤步骤内容 ① 启动Zookeeper,Hadoop,Flink(HA)三种集群(启动顺序不要错) ② mvn clean scala:compile compile packa ...
intellij运行flink的wordcount实验-Java版本
注意哈,intellij运行wordcount这个并不属于flink集群中的任何一种模式, 这个属于java应用方式提交,不需要启动任何flink集群． ####################### ...
使用Flink的Savepoint功能
Flink通过Savepoint功能可以做到程序升级后,继续从升级前的那个点开始执行计算,保证数据不中断. Flink中Checkpoint用于保存状态,是自动执行的,会过期,Savepoint是指向 ...
org.apache.flink.table.api.bridge.java.internal.BatchTableEnvironmentImpl找不到的问题
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.api.bridge.java.internal.BatchTa ...
java实验文法报告_西安邮电大学编译原理LL文法分析器实验(java).doc
西安邮电大学编译原理LL文法分析器实验(java) <编译原理>实验报告题目: 语法分析器的制作学生姓名: 班级: 软件1202 学号: 指导教师: 成绩: 西安邮电大学计算机学 ...
java 168转换成861_java实验-java语言面向对象编程基础
java实验-java语言面向对象编程基础 (12页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 8.90 积分广州大学学生实验报告广州大学学生实验报告 ...
Flink读写Mysql（Java版）
必须得创建好Mysql表 CREATE TABLE student (name VARCHAR(20),age INT); 读写代码创建实体类 public class Student {priva ...
用一根线模拟浦丰投针实验——Java
用一根线模拟浦丰投针实验--Java 浦丰投针实验(Buffon's needle problem) 本文先给出正确的推理过程,错误的推导过程放在文章末尾,方便大家探讨. 不多废话,直奔主题. ...
flink的Savepoint
其实说到flink的checkpoint,那必然也得讲讲flink的savepoint 什么是 Savepoint ? Savepoint 与 Checkpoint 有什么不同? Savepoint ...

flink的savepoint实验-java

前言和一些准备工作

实验步骤

Reference

flink的savepoint实验-java相关推荐

最新文章

热门文章