flink的savepoint实验-scala
大致步骤同[1]
| 步骤 | 步骤内容 |
| ① |
启动Zookeeper,Hadoop,Flink(HA)三种集群(启动顺序不要错) |
| ② |
mvn clean scala:compile compile package cd target flink run -c WordCount /home/appleyuchi/桌面/Flink_Code/flink_state/savepoint/Scala/target/datastream_api-1.0-SNAPSHOT.jar Job has been submitted with JobID 657e2ab956cc57c2e01cc618b8bf3b03 |
| ③ |
flink savepoint 657e2ab956cc57c2e01cc618b8bf3b03 Triggering savepoint for job 657e2ab956cc57c2e01cc618b8bf3b03. |
| ④ |
flink cancel 657e2ab956cc57c2e01cc618b8bf3b03 Cancelling job 657e2ab956cc57c2e01cc618b8bf3b03. Cancelled job 657e2ab956cc57c2e01cc618b8bf3b03. |
| ⑤ |
flink run -s hdfs://Desktop:9000/flink-savepoints/savepoint-657e2a-be30c75ec137 -c WordCount -d /home/appleyuchi/桌面/Flink_Code/flink_state/savepoint/Scala/target/datastream_api-1.0-SNAPSHOT.jar |
具体实验效果可以参考[1]
完整代码
Reference:
[1]flink的savepoint实验-java
flink的savepoint实验-scala相关推荐
- flink的savepoint实验-java
前言和一些准备工作 首先需要明确的是,savepoint和checkpoint不是同一类, 所以在进行savepoint实验时,代码里不需要添加checkpoint enable选项等． $FLINK ...
- flink的checkpoint实验-scala版本
我们以[1]中代码为主,首先进行scala实验,然后再进行java实验 步骤 内容 ① mvn clean scala:compile compile package ② nc -lk 9999 fl ...
- 使用Flink的Savepoint功能
Flink通过Savepoint功能可以做到程序升级后,继续从升级前的那个点开始执行计算,保证数据不中断. Flink中Checkpoint用于保存状态,是自动执行的,会过期,Savepoint是指向 ...
- Flink编程中遇到”scala.tools.reflect.ToolBoxError: reflective compilation has failed“的解决方法
Flink编程中遇到"scala.tools.reflect.ToolBoxError: reflective compilation has failed: cannot initiali ...
- flink的Savepoint
其实说到flink的checkpoint,那必然也得讲讲flink的savepoint 什么是 Savepoint ? Savepoint 与 Checkpoint 有什么不同? Savepoint ...
- Flink SQL Client注册SCALA UDF完整流程
UDF的完整maven工程與SQL https://github.com/appleyuchi/Flink_SQL_Client_UDF 完整操作步骤 ①mvn scala:compile packa ...
- intellij运行flink的wordcount实验-Java版本
注意哈,intellij运行wordcount这个并不属于flink集群中的任何一种模式, 这个属于java应用方式提交,不需要启动任何flink集群． ####################### ...
- flink实时流与scala程序开发实用经验 - 十年磨两贱人
本文是作者在用 flink 开发实时流数据的时候,对 flink 的一些总结经验,其中会重点讲到 "数据倾斜" 的解决方案 + 源码 文章结构: 1:flink本地如何模拟topi ...
- Flink Checkpoint/Savepoint
一.CheckPoints 为了使Flink的状态具有良好的容错性,Flink提供了检查点机制(Checkpoints).通过检查点机制,Flink定期在数据流上生成checkpoint barrie ...
最新文章
- Linux下redis的安装
- C#winform无响应，界面线程崩溃问题
- MySQL修改和删除索引（DROP INDEX）
- python网络编程教学_python网络编程学习初步
- Vue2 封装的 Quill 富文本编辑器组件 Vue-Quill-Editor
- 博弈论入门 HDU 1850
- python多维数据划分_【python+机器学习（4）】多维数据的特征选取（RidgeLasso）...
- akoj-1153-p次方求和
- css3中的动画学习分享
- 计算机系统-理论-运行时堆栈/栈顶
- sublime text常用快捷键整理
- 【优化算法】气味代理优化算法（SAO）【含Matlab源码 1131期】
- 谷歌翻译api_解救科研民工！史上最强大的翻译神器，助你日读10篇不是梦~~
- linux磁盘组修复,Linux磁盘坏道的检测及修复
- C++设计模式（全23种）
- python生成文章标题_标题党文章生成器
- 2011年QQ个性签名、MSN个性签名:学海无涯,回头是岸
- 提高工作效率的15个技巧
- Android实现Line登录分享
- 《沙漠自然教育项目全纪实》发布 圣牧有机让绿色的种子种进更多孩子心里