系列文章目录

Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！

Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！

Flink使用指南: Kafka流表关联HBase维度表

Flink使用指南: Watermark新版本使用

Flink使用指南: Flink SQL自定义函数

flink -run命令：

-c,--class <classname> : 需要指定的main方法的类
-C,--classpath <url> : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://）
-d,--detached : 在后台运行
-p,--parallelism <parallelism> : job需要指定env的并行度，这个一般都需要设置。
-q,--sysoutLogging : 禁止logging输出作为标准输出。
-s,--fromSavepoint <savepointPath> : 基于savepoint保存下来的路径，进行恢复。
-sas,--shutdownOnAttachedExit : 如果是前台的方式提交，当客户端中断，集群执行的job任务也会shutdown

flink run -m yarn-cluster命令：

-m/--jobmanager : yarn-cluster集群-yd/--yarndetached : 后台-yjm/--yarnjobManager : jobmanager的内存-ytm/--yarntaskManager : taskmanager的内存-yid/--yarnapplicationId : job依附的applicationId
-ynm/--yarnname : application的名称
-ys/--yarnslots : 分配的slots个数

flink cancel

flink cancel [options] <job_id> : 取消正在运行的job id
flink cancel -s/--withSavepoint <path> <job_id> ： 取消正在运行的job，并保存到相应的保存点、

flink savepoint

flink savepoint [options] <job_id> <target directory>
# 触发保存点
flink savepoint <job_id> <hdfs://xxxx/xx/x> : 将flink的快照保存到hdfs目录
# 使用yarn触发保存点
flink savepoint <job_id> <target_directory> -yid <application_id>
# 使用savepoint取消作业
flink cancel -s <tar_directory> <job_id>
# 从保存点恢复
flink run -s <target_directoey> [:runArgs]
# 如果复原的程序，对逻辑做了修改，比如删除了算子可以指定allowNonRestoredState参数复原。
flink run -s <target_directory> -n/--allowNonRestoredState [:runArgs]

flink保存savePoint:

bin/flink stop 50283447ceda3e25ab0d206f88f5630c -yid application_1602652869817_0365

退出程序并savepoint

/usr/lib/flink-current/bin/flink cancel --yarnapplicationId application_1607548790592_0278 --withSavepoint hdfs://emr-cluster/flink/flink-savepoints/ e6012c878ff435f1bfaeaecaf5bbdcd9

保存savepoint

/usr/lib/flink-1.12.4/bin/flink savepoint e6012c878ff435f1bfaeaecaf5bbdcd9 hdfs://emr-cluster/flink/flink-savepoints -yid application_1607548790592_0278

保存并退出

/usr/lib/flink-1.12.4/bin/flink stop -p hdfs://emr-cluster/flink/flink-savepoints -d e6012c878ff435f1bfaeaecaf5bbdcd9 -yid application_1607548790592_0278

从savepoint处启动

run --jobmanager yarn-cluster --yarnname flink_test --yarnjobManagerMemory 4096 --yarntaskManagerMemory 4096 --yarnslots 4 --parallelism 4 --fromSavepoint hdfs://emr-cluster/flink/flink-savepoints/savepoint-aef690-ef2b6e0cd4e8 --class com.colipu.etlApplications.FlinkETL2DataBase ossref://sh-itsharedfile-prd/data_bigdata/etl_real_time/ETL/Product/test.jar --application_path ossref://sh-itsharedfile-prd/data_bigdata/etl_real_time/ETL/Product/application.properties

Flink使用指南：Flink操作命令基础整理 (日常更新中...)相关推荐

Java自学视频整理(持续更新中...)
1.Java基础视频 <张孝祥JAVA视频教程>完整版[RMVB](东西网) 历经5年锤炼(史上最适合初学者入门的Java基础视频)(传智播客) 张孝祥2010年贺岁视频:Java高新技术 ...
初学Oracle的笔记(2)——基础内容(实时更新中..)
续初学Oracle的笔记(1)--基础内容(实时更新中..) 1.oracle中创建一张表,写法与sql server中的一样. SQL> create table Course 2 ( cn ...
081200计算机科学与技术——408计算机学科专业基础——操作系统，知识点整理【更新中】
文章目录操作系统的定义操作系统的功能和目标操作系统的特征操作系统的发展与分类 os的运行机制和体系结构中断系统调用进程进程的状态与状态转换更新中_P10 操作系统的定义操作系统(O ...
Node.js零基础自学(持续更新中）
1. Node.js时基于Chrome V8 引擎的JavaScript运行环境.官网:Node.jsNode.js® is a JavaScript runtime built on Chrome' ...
软件大全下载整理（更新中）
本篇文章将整理在开发过程中所用的各种软件,并会陆续的进行更新! Visual C++6.0 : http://pan.baidu.com/s/1c2c9VTu 绿色版:http://pan.baidu ...
面试基础整理(一)---Java中==和equals的区别
最近开始回头复习Java基础内容,在遇到==这个关系运算符和equals运算符时,发现了很多有趣的现象. 代码如下: //基本数据类型的比较int num1 = 10;int num2 = 10;Sy ...
es2015（es6）基础知识整理（更新中...）
1.let let可以声明块级作用域变量 1 'use strict'; 2 3 if (true) { 4 let app = 'apple'; 5 } 6 7 console.log(app); ...
前端面试知识自己的一些整理 ---持续更新中
- title: 自己整理的面试复习资料 date: 2019-03-20 12:27:51 tags: 面试前端 CSS3+H5 [CSS3.0 帮助文档.chm](CSS3.0 帮助文档.chm ...
前端基础知识（更新中）
HTML和CSS基础知识本文章为B站尚硅谷前端学习视频的笔记整理一.基本语法 (一)元素标题:一到六级标题:h1到h6 <h1></h1> 段落:<p>< ...

Flink使用指南：Flink操作命令基础整理 (日常更新中...)

系列文章目录

Flink使用指南：Flink操作命令基础整理 (日常更新中...)相关推荐

最新文章

热门文章