Flink On Yarn HA 安装和配置

正常基于 Yarn 提交 Flink 程序，无论是使用 yarn-session 模式还是 yarn-cluster 模式，基于 yarn 运行后的 application 只要 kill 掉对应的 Flink 集群进程 “YarnSessionClusterEntrypoint”后，基于 Yarn 的 Flink 任务就失败了，不会自动进行重试，所以基于 Yarn 运行 Flink 任务，也有必要搭建 HA，同样还是需要借助 zookeeper 来完成高可用管理，步骤如下：

修改所有 Hadoop 节点的 yarn-site.xml
将所有 Hadoop 节点的 yarn-site.xml 中的提交应用程序最大尝试次数调大，在每台hadoop节点yarn-site.xml中设置提交应用程序的最大尝试次数，建议不低于4，这里重试指的是ApplicationMaster

<property> <name>yarn.resourcemanager.am.max-attempts</name> <value>4</value>
</property>

启动 Hadoop 集群
启动 zookeeper，启动 Hadoop 集群。
修改 Flink 对应 flink-conf.yaml 配置
配置对应的 conf 下的 flink-conf.yaml，配置内容如下：

#配置依赖zookeeper模式进行HA搭建
high-availability: zookeeper
#配置JobManager原数据存储路径
high-availability.storageDir: hdfs://mycluster/flinkHA/
#配置zookeeper集群节点
high-availability.zookeeper.quorum: node2:2181,node3:2181,node4:2181
#yarn停止一个application重试的次数
yarn.application-attempts: 10

启动 yarn-session.sh 测试 HA

./flink run -m yarn-cluster -yn 3 -ys 3 -ynm yyy -c stream.FlinkStreamWordCount /root/test/Flink-test-1.0-SNAPSHOT.jar

点击对应的 Tracking UI，进入 Flink 集群 UI:查看对应的 JobManager 在哪台节点上启动：

进入对应的节点，kill 掉对应的“YarnSessionClusterEntrypoint”进程。然后进入到 Yarn 中观察“applicationxxxx_0001”job 信息：

[root@node3 ~]# kill -9 4708
[root@node3 ~]# jps
5281 Jps
3458 QuorumPeerMain
3814 NodeManager
3528 DataNode
3722 ResourceManager
3611 JournalNode

Flink On Yarn HA 安装和配置相关推荐

flink on yarn HA高可用集群搭建
无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManage ...
Flink on yarn (HA)测试
前面已经介绍了Flink on yarn的相关部署,在yarn当中,启动Flink有两种模式,分别是客户端模式和分离式,下面将介绍Flink on yarn HA是如何在宕机后,重启Flink及k ...
VMware HA实战攻略之四VMware HA安装及配置
[IT168 专稿]在前面三篇文章中(点击1.2.3),不但讲述了如何准备适合虚拟化的硬件.软件,以及如何使用现有的硬件.软件搭建一套实验环境,还讲述了通过VC Server如何添加主机和ISCSI存 ...
Flink on Yarn HA模式部署
1. 配置yarn最大重试次数yarn-site.xml: <property><name>yarn.resourcemanager.am.max-attempts</n ...
hadoop yarn集群HA安装及配置
单机部署官网文档 https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/SingleCluster.html ...
Flink （四） Flink 的安装和部署- Flink on Yarn 模式 / 集群HA / 并行度和Slot
接上一篇 Flink (三) Flink 的安装和部署- -Standalone模式 3. Flink 提交到 Yarn Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink ...
Flink on Yarn（HA配置）
根据部署方式不同,Flink Jobmanager HA配置分为2种: 1.standalone cluster HA 2.Yarn cluster HA 其中,standalone cluster ...
Flink on Yarn的两种模式及HA
Flink on Yarn模式部署始末:Flink的Standalone和on Yarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用Flink on Yarn模式者居多.那么使用on ...
Flink on Yarn的两种模式
Flink on Yarn模式部署始末:Flink的Standalone和on Yarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用Flink on Yarn模式者居多. 那 ...

Flink On Yarn HA 安装和配置

Flink On Yarn HA 安装和配置相关推荐

最新文章

热门文章