flink yarn模式提交及查看日志

一、Yarn session（一般测试环境）

yarn session会初始启动指定的tm数量。 job提交后再指定的session 内运行。

其它job运行，如果资源不够，就会一直等待直到占用的job运行完毕释放资源。jm所有job共享

1 在任意几点启动yarn-session:

下述属性启动4个任务管理器。每个任务管理器占用1024M内存，且每任务管理器分配2个SLOT

./bin/yarn-session.sh -n 4 -tm 1024 -s 2

如下图， yarn模式下会随机找到一机器做为job manager，在master提交后，去到cdh03节点作为job manager运行

注：上述第一个红框为 yarn 集群中的application id. 运行日志可以根据此ID，去yarn WEB UI中查看。

2 提交JOB：

在提交session的节点：

./flink run -c WordCount /home/hadoop/flinktest/FlinkStream_.jar --input hdfs:///flinktest/inputwords.txt --output hdfs:///flinktest/output

如果是其它节点：需要指定 job管理器 -m ，否则会跑到 master节点 8081口提交任务，最后超时报错

./flink run -m cdh02:40990 -c WordCount /home/hadoop/flinktest/FlinkStream_.jar --input hdfs:///flinktest/inputwords.txt --output hdfs:///flinktest/output2 -m cdh02:409904099

也可以指定sessionid来提交特别是在多个session的情况下 -yid application_157118_00001

3 yarn 模式下日志查看跟 standalone方式有点不一样。在yarn WEB UI 可以查看

application id 可以根据步骤1 的ID，去yarn管理界面查看。

点击，ID连接，进去找到对应的am管理的容器，查看日志

物理日志路径，根据yarn配置文件，在/yarn /container-logs 目录下（可以看到应该在cdh01节点）

3 停止job

yarn application -kill  session id.

二 yarn on per job(生产使用)

1 常规启动：

bin/flink run -c WordCount -m yarn-cluster examples/batch/WordCount.jar，注意参数 -m yarn-cluster

此命令直接向yarn申请资源，构建集群，每job 独占jobmanager运行。

tm数=max(子任务并行书)/每tm槽位数.

2 停止JOB使用检查点。 action: stop

当没有使用flie或db保存，即内存保存检查点时。要停机，担心数据丢失。可以使用下述方式，手动指定检查点保存路径。后续启动时，再恢复。

flink stop -p savepointdir <pid> -yid <yid> [-p savepoint路径]

./flink stop -p hdfs://nameservice1/tmp c0a428874f675891400651d47855e85a -yid application_1599550090524_0046

3 也可以直接使用savepoint命令。 action： savepoint

flink savepoint jobId [targetDirectory] [-yid yarnAppId]

此命令可以针对运行中的job执行 savepoint操作。

pid可以进入FLINK WEB UI 查看：

3 从检查点启动(同常规启动比较只是多了个参数-s)

./flink run -s hdfs://nameservice1/tmp/savepoint-c0a428-b246908b40f5 -c WordCount -m yarn-cluster -ynm tts_log_2hdfs examples/batch/WordCount.jar

参考：Flink SavePoint的使用_lvwenyuan_1的博客-CSDN博客_flink savepoint配置

flink yarn模式提交及查看日志相关推荐

flink yarn模式HA部署
文章目录 1.yarn cluster 模式部署介绍 2.flink session HA模式 3.flink-per-job模式该文章基于上一篇: Flink的local和standalone H ...
spark yarn模式提交任务不成功（application state: ACCEPTED）
问题详情电脑8G,目前搭建3节点的spark集群,采用YARN模式. master分配2G,slave1分配1G,slave2分配1G.(在安装虚拟机时) export SPARK_WORKER_M ...
Spark on YARN ：yarn-cluster模式如何查看日志
Spark on YARN 两种模式yarn-cluster yarn-client 一:yarn-client 在运行时是可以看到日志的而yarn-cluster是看不懂的,那么问题来了,如何查看 ...
2021年大数据Flink（六）：Flink On Yarn模式
目录 Flink On Yarn模式原理为什么使用Flink On Yarn? Flink如何和Yarn进行交互? 两种方式操作 1.关闭yarn的内存检查 2.同步 3.重启yarn 测试 S ...
Flink On Yarn模式，为什么使用Flink On Yarn?Session模式、Per-Job模式、关闭yarn的内存检查，由Yarn模式切换回standalone模式时需要注意的点
Flink On Yarn模式原理为什么使用Flink On Yarn? 在实际开发中,使用Flink时,更多的使用方式是Flink On Yarn模式,原因如下: -1.Yarn的资源可以按需使 ...
真实集群中Flink命令行各种模式提交wordcount
依然使用[1]中的代码和工程目录结构. ####################编译和运行################################# mvn clean package -Dm ...
yarn 怎么查看有多个job在跑_flink on yarn 模式下提示yarn资源不足问题分析
背景在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里,并在client端一直输出如下日志: (YarnClusterDescriptor.java:1036)- ...
Flink （四） Flink 的安装和部署- Flink on Yarn 模式 / 集群HA / 并行度和Slot
接上一篇 Flink (三) Flink 的安装和部署- -Standalone模式 3. Flink 提交到 Yarn Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink ...
大数据Flink进阶（十五）：Flink On Yarn任务提交
文章目录 Flink On Yarn任务提交一.Flink On Yarn运行原理二.代码及Yarn环境准备 1.准备代码 2.yarn 环境准备三.Yarn Session模式 1.任务提交命 ...

flink yarn模式提交及查看日志

flink yarn模式提交及查看日志相关推荐

最新文章

热门文章