Flink支持多种安装模式

Local—本地单机模式，学习测试时使用
Standalone—独立集群模式，Flink自带集群，开发测试环境使用
StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用
On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用

本章将跳过local standaloneha等，如有需要请自行百度

配置文件

vim flink-1.14.4/conf/flink-conf.yaml

#开启网页提交任务
web.submit.enable: true
jobmanager.rpc.address: master
#自行选择
taskmanager.numberOfTaskSlots: 1classloader.check-leaked-classloader: false#zookeeper
high-availability: zookeeper
#开启HA，使用文件系统作为快照存储
state.backend: filesystem
#启用检查点，可以将快照保存到HDFS
state.backend.fs.checkpointdir: hdfs://master:9000/flink-checkpoints
high-availability.zookeeper.quorum: master:2181,node1:2181,node2:2181
high-availability.zookeeper.path.root: /flink
high-availability.storageDir: hdfs://master:9000/flink/recovery

其他有需要的配置文件按需更改

vim flink-1.14.4/conf/masters

master:8081
node2:8081

vim flink-1.14.4/conf/workers

node1
node2

关闭yarn的内存检查


<!-- 关闭yarn内存检查 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name><value>false</value>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

说明:

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

在这里面我们需要关闭，因为对于flink使用yarn模式下，很容易内存超标，这个时候yarn会自动杀掉job

yarn集群要重启

分发flink

分发完成之后要在node2里面改下配置文件flink-conf.yaml

vim flink-1.14.4/conf/flink-conf.yamljobmanager.rpc.address: node2

开启zookeeper集群，执行flink example测试

采用per-job的方式提交任务到yarn
flink run -m yarn-cluster /apps/flink-1.14.4/examples/streaming/TopSpeedWindowing.jar

Apache Flink 1.14.4 on yarn ha环境搭建相关推荐

技术前沿资讯-Apache Flink 1.14 新特性介绍
一.简介 1.14 新版本原本规划有 35 个比较重要的新特性以及优化工作,目前已经有 26 个工作完成:5 个任务不确定是否能准时完成:另外 4 个特性由于时间或者本身设计上的原因,会放到后续版本完 ...
Hadoop完全分布式HA环境搭建
一.前提准备实验环境下准备4台虚拟机,必须安装好jdk并配置好环境变量.(点击查看jdk的安装配置) 二.节点规划 NN1 NN2 DN ZK ZKFC JN node1 * * * node2 * ...
ff14显卡测试软件,最终幻想14首台4K电脑环境搭建测试实录
备受期待的<最终幻想14>终于要来了!盛大游戏"最终幻想的水晶之旅"首站发布会将于2月25日在上海中环金逸4K影院召开,制作人吉田直树先生也将亲临现场与玩家互动,并通过 ...
【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程
前面一篇博客中已经搭建了flink Standalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务,之前搭建Flink on yarn的时候用 ...
Spark集群中HA环境搭建
1.环境介绍 (1)操作系统ubuntu16.4.0 (2)两个节点:spark1(192.168.232.147),spark2(192.168.232.152) (生产环境下一般配置3台) (3) ...
apache24 php7 64,Win10 64位 Apache 2.4+MySQL 5.7+PHP 7环境搭建
WAMP Architecture Building 相关信息 Windows 10 Enterprise Version 1607 64-bit | i7-4710HQ | 8G 软件版本及获取 A ...
Ubuntu 14.04.5 imx6 开发环境搭建
1,下载VMware Workstation虚拟机地址:http://1.xp510.com:801/xp2011/VMware10.7z 2,下载Ubuntu 14.04.5 LTS 32位Ubu ...
VMware HA环境搭建七：WIN2012 ISCSI目标服务器的安装
最近比较忙,先发图吧,后期编辑再加上文字说明: 转载于:https://blog.51cto.com/yunge/1285708
华为云14天鸿蒙设备开发-Day1环境搭建
环境搭建一.准备环境二.Windows下环境搭建 1.安装相关驱动与软件 2.虚拟机下安装Ubuntu 3.配置Ubuntu网络三.Ubuntu下环境搭建 1.在windows下使用MobaXt ...

Apache Flink 1.14.4 on yarn ha环境搭建

Flink支持多种安装模式

配置文件

关闭yarn的内存检查

说明:

分发flink

Apache Flink 1.14.4 on yarn ha环境搭建相关推荐

最新文章

热门文章