环境

Flink 1.8.2
jdk 1.8
hadoop 2.8.5

Local模式

在Local模式下仅模拟cluster集群，仅启动JobManager完成应用的运行。JobManager进程信息如下:
启动：./bin/start-cluster.sh
停止：./bin/stop-cluster.sh
提交作业方式
./flink run -p 1 ../examples/batch/WordCount.jar
-p表示并行度

Standalone模式

集群安装

修改conf/flink-conf.yaml: jobmanager.rpc.address: swarm-manager
修改conf/slaves：
swarm-worker1
swarm-worker2
启动jobmanager：

然后在其他两个节点上分别启动集群，然后在浏览器中输入地址http://swarm-manager:8081

Flink On Yarn模式

第一种【yarn-session.sh(开辟资源)+flink run(提交任务)】

创建一个yarn-session，后续提交应用至该session。
该模式下，创建session以后，会启动一个Yarn applicationMaster和指定数目的Yarn Container。查看ApplicationMaster及Container进程信息可以看出，二者启动类分别为YarnAPplicationMasterRunner和YarnTaskManager。查看源码可以看出，本质上ApplicationMaster扮演的是JobManager的角色，Contaienr扮演的是TaskManager的角色，类似于启动一个Flink的集群。
然后可以通过直接提交应用至该session，由该Session负责运行应用

启动yarn的ResourceManager，NodeManager：./start-yarn.sh
启动yarn-session,~/app/flink-1.8.2$ bin/yarn-session.sh -jm 1024m -tm 1024m
控制台输出：

提交一个作业
iie4bu@swarm-manager:~/app$ flink run ./hadoop-hdfs-1.0-SNAPSHOT-shaded.jar ./flink-es.properties
浏览器中输入地址http://swarm-manager:45343这个地址根据实际情况确定，可以看到有一个作业在运行：

这时在yarn中浏览器中输入地址http://swarm-manager:8088，查看

第二种【flink run -m yarn-cluster(开辟资源+提交任务)】

首先按照上面第一种方式，先把yarn-session.sh进程关闭。
提交作业
~/app$ flink run -m yarn-cluster -yn 1 ./hadoop-hdfs-1.0-SNAPSHOT-shaded.jar ./flink-es.properties
其中-m yarn-cluster表示使用yarn集群，-yn 1表示taskmanager的数量。

Flink三种运行模式安装部署相关推荐

Flink学习笔记02：Flink三种运行模式
文章目录一.Local 模式 (一)简单说明 (二)案例演示 1.准备测试数据集 2.Flink Shell运行词频统计二.Standalone 模式 (一)简单说明 (二)案例演示三.Flin ...
spark sql 本地调试_Spark精华问答｜Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
Spark精华问答 | Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
【Tomcat】Tomcat Connector的三种运行模式【bio、nio、apr】
Tomcat Connector(Tomcat连接器)有bio.nio.apr三种运行模式 bio bio(blocking I/O,阻塞式I/O操作),表示Tomcat使用的是传统的Java I/O ...
Tomcat Connector的三种运行模式【bio、nio、apr】
Tomcat Connector(Tomcat连接器)有bio.nio.apr三种运行模式 bio bio(blocking I/O,阻塞式I/O操作),表示Tomcat使用的是传统的Java I/O ...
python编程模式是什么_python 开发的三种运行模式详细介绍
Python 三种运行模式 Python作为一门脚本语言,使用的范围很广.有的同学用来算法开发,有的用来验证逻辑,还有的作为胶水语言,用它来粘合整个系统的流程.不管怎么说,怎么使用python既取决于 ...
Spark的三种运行模式
Spark三种运行模式 1.Spark运行模式: 2.验证Spark三种模式代码 1.Spark运行模式: ①Local(也称单节点模式):常用于开发和学习 ./spark-shell - -mast ...
draw.io二次开发（1）三种运行模式的区别
想尝试在开源的drawio的基础上做一些开发,实现自己的定制化需求.可能是因为这个工具已经非常完善了吧,找到的大部分都是教你如何使用,开发相关资料太少,看来只能靠自己了. 关于开发环境搭建,请先看这一 ...

Flink三种运行模式安装部署

环境