1.集群规划

Flink on yarn 的HA其实是利用yarn自己的恢复机制。
在这里需要用到ZK，主要是因为虽然flink-on-yarn cluster HA 依赖于Yarn自己的集群机制，但是在Flink job在恢复时，需要依赖检查点产生的快照，而这些快照虽然配置在hdfs,但是其元数据信息保存在zookeeper中，所以我们还要配置zookeeper的信息
hadoop集群：master、slave1、slave2
zookeeper服务：master、slave1、slave2

2.配置

主要在master上配置
1.首先需要修改hadoop集群中所有节点中yarn-site.xml中的配置，设置提交应用程序的最大尝试次数

<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
<description> Themaximumnumberofapplicationmasterexecutionattempts. </description></property>

2.解压一份Flink安装包

tar -zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz

3.配置flink-conf.yaml

vi conf/flink-conf.yaml

high-availability:zookeeper
high-availability.zookeeper.quorum:master:2181,slave1:2181,slave2:2181
high-availability.storageDir:hdfs://hadoop100:9000/flink/ha-yarn
high-availability.zookeeper.path.root:/flink-yarn
yarn.application-attempts:10

4.启动集群
先启动master、slave1、slave2上的hadoop和zookeeper

bin/zkServer.sh startsbin/start-all.sh

在master上启动Flink集群

bin/yarn-session.sh-n2

web查看http://slave2:44400

到 resoucemanager 的 web 界面上查看对应的 flink 集群在哪个节点上,web查看http://master:8088

jobmanager 进程就在对应的节点(YarnSessionClusterEntrypoint)进程里

5.测试
所以想要测试 jobmanager 的 HA 情况，只需要拿YarnSessionClusterEntrypoint 这个进程进行测试即可。
执行下面命令手工模拟 kill 掉jobmanager（YarnSessionClusterEntrypoint

然后去 yarn 的 web 界面进行查看：

再在slave1下查看进程：jps

发现YarnSessionClusterEntrypoint跑在了slave1上。
集群HA完成！

Flink on yarn集群HA配置相关推荐

Flink on yarn 集群HA 配置
1. HA 集群环境规划 flink on yarn 的HA 其实是利用yarn 自己的恢复机制.在这需要用到zk,主要是因为虽然flink-on-yarn cluster HA 依赖于Yar ...
大数据实操篇 No.11-Flink on Yarn集群HA高可用部署及使用
第1章简介 1.1 概要介绍 Flink on Yarn的HA高可用模式,首先依赖于Yarn自身的高可用机制(ResourceManager高可用),并通过Yarn对JobManager进行管理,当 ...
hadoop yarn集群HA安装及配置
单机部署官网文档 https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/SingleCluster.html ...
flink on yarn集群搭建
环境需求 CentOS7.5.1804.jdk1.8.0_181.zookeeper3.6.2.hadoop3.2.2.flink1.12.2 关于hadoop的安装细节请查看<hadoop3. ...
Flink （四） Flink 的安装和部署- Flink on Yarn 模式 / 集群HA / 并行度和Slot
接上一篇 Flink (三) Flink 的安装和部署- -Standalone模式 3. Flink 提交到 Yarn Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink ...
【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程
前面一篇博客中已经搭建了flink Standalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务,之前搭建Flink on yarn的时候用 ...
pythonspark集群模式运行_有关python numpy pandas scipy 等能在YARN集群上运行PySpark
有关这个问题,似乎这个在某些时候,用python写好,且spark没有响应的算法支持, 能否能在YARN集群上运行PySpark方式, 将python分析程序提交上去? Spark Applicat ...
基于YARN集群构建运行PySpark Application
文章转载:https://www.tuicool.com/articles/eaYVN3v Spark Application可以直接运行在YARN集群上,这种运行模式,会将资源的管理与协调统一交给Y ...
hadoop集群HA模式(JN+ZK)+yarn搭建
一.hadoop伪分布式环境搭建二.hadoop集群HA模式搭建三.hadoop集群HA模式(JN+ZK)+yarn搭建角色分配角色\服务器 node01 node02 node03 node ...

Flink on yarn集群HA配置

1.集群规划

2.配置

Flink on yarn集群HA配置相关推荐

最新文章

热门文章