Flink on yarn 集群HA 配置

1. HA 集群环境规划
flink on yarn 的HA 其实是利用yarn 自己的恢复机制。在这需要用到zk，主要是因为虽然flink-on-yarn cluster HA 依赖于Yarn 自己的集群机制，但是Flink Job 在恢复时，需要依赖检查点产生的快照，而这些快照虽然配置在hdfs，但是其元数据信息保存在zookeeper 中，所以我们还要配置zookeeper 的信息

2. 开始配置+启动

首先需要修改hadoop 中yarn-site.xml 中的配置，设置提交应用程序的最大尝试次数

<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
<description>
The maximum number of application master execution attempts.
</description>
</property>

把修改后的配置文件同步到hadoop 集群的其他节点

3、修改flink 部分相关配置

修改配置文件 flink-conf.yaml

vi conf/flink-conf.yaml
high-availability: zookeeper
high-availability.zookeeper.quorum: hadoop00:2181
high-availability.storageDir: hdfs://hadoop00:9000/flink/ha-yarn
high-availability.zookeeper.path.root: /flink-yarn
yarn.application-attempts: 10

4、启动flink on yarn，测试HA

先启动hadoop00 上的zookeeper 和hadoop

bin/zkServer.sh start
sbin/start-all.sh

在hadoop00 上启动Flink 集群

bin/yarn-session.sh -n 2

Flink on yarn 集群HA 配置相关推荐

Flink on yarn集群HA配置
1.集群规划 Flink on yarn 的HA其实是利用yarn自己的恢复机制. 在这里需要用到ZK,主要是因为虽然flink-on-yarn cluster HA 依赖于Yarn自己的集群机制,但 ...
大数据实操篇 No.11-Flink on Yarn集群HA高可用部署及使用
第1章简介 1.1 概要介绍 Flink on Yarn的HA高可用模式,首先依赖于Yarn自身的高可用机制(ResourceManager高可用),并通过Yarn对JobManager进行管理,当 ...
hadoop yarn集群HA安装及配置
单机部署官网文档 https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/SingleCluster.html ...
flink on yarn集群搭建
环境需求 CentOS7.5.1804.jdk1.8.0_181.zookeeper3.6.2.hadoop3.2.2.flink1.12.2 关于hadoop的安装细节请查看<hadoop3. ...
Flink （四） Flink 的安装和部署- Flink on Yarn 模式 / 集群HA / 并行度和Slot
接上一篇 Flink (三) Flink 的安装和部署- -Standalone模式 3. Flink 提交到 Yarn Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink ...
【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程
前面一篇博客中已经搭建了flink Standalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务,之前搭建Flink on yarn的时候用 ...
pythonspark集群模式运行_有关python numpy pandas scipy 等能在YARN集群上运行PySpark
有关这个问题,似乎这个在某些时候,用python写好,且spark没有响应的算法支持, 能否能在YARN集群上运行PySpark方式, 将python分析程序提交上去? Spark Applicat ...
基于YARN集群构建运行PySpark Application
文章转载:https://www.tuicool.com/articles/eaYVN3v Spark Application可以直接运行在YARN集群上,这种运行模式,会将资源的管理与协调统一交给Y ...
hadoop集群HA模式(JN+ZK)+yarn搭建
一.hadoop伪分布式环境搭建二.hadoop集群HA模式搭建三.hadoop集群HA模式(JN+ZK)+yarn搭建角色分配角色\服务器 node01 node02 node03 node ...

Flink on yarn 集群HA 配置

Flink on yarn 集群HA 配置相关推荐

最新文章

热门文章