Flink-on-yarn

介绍

官网下载

https://www.apache.org/dyn/closer.lua/flink/flink-1.6.1/flink-1.6.1-bin-hadoop28-scala_2.11.tgz

flink集群地址

ddcve: master
dddve: slave
ddeve: slave

解压

tar -xzvf flink-1.6.1-bin-hadoop28-scala_2.11.tgz
mv flink-1.6.1 flink
cd flink

修改配置

指定master

vim conf/flink-conf.yaml

jobmanager.rpc.address: ddcve   # 指定master

指定slaves

echo -e "dddve\nddeve" > conf/slaves

添加yarn配置项

hadoop/etc/hadoop/yarn-site.xml

<property><name>yarn.nodemanager.resource.cpu-vcores</name><value>8</value>
</property>

启动flink

./bin/start-cluster.sh

输出结果如下

Starting HA cluster with 2 masters.
Starting standalonesession daemon on host ddcvc.
Starting standalonesession daemon on host ddcve.
Starting taskexecutor daemon on host dddve.
Starting taskexecutor daemon on host ddeve.

flink on yarn

以下操作都在slave

启动yarn-session

./bin/yarn-session.sh -d -n 4 -tm 2048 -s 4

提交job

# 先在hdfs创建输入文件
hadoop fs -copyFromLocal /tmp/passwd /tmp/passwd# 提交
./bin/flink run ./examples/batch/WordCount.jar --input hdfs:///tmp/passwd

flink with zookeeper

修改conf/flink-conf.yaml

high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: ddcva:2181,dddva:2181,ddeva:2181
recovery.zookeeper.path.root: /flink
high-availability.zookeeper.client.acl: open
state.backend: filesystem

修改conf/masters

ddcvc:8081
ddcve:8081

转载于:https://www.cnblogs.com/dzqk/p/10008889.html

Flink-on-yarn相关推荐

2021年大数据Flink（六）：Flink On Yarn模式
目录 Flink On Yarn模式原理为什么使用Flink On Yarn? Flink如何和Yarn进行交互? 两种方式操作 1.关闭yarn的内存检查 2.同步 3.重启yarn 测试 S ...
influxdb tsm文件_利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
Flink 从入门到精通系列文章前言虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB.InfluxDB是 ...
flink on yarn HA高可用集群搭建
无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManage ...
flink on yarn两种提交模式
在yarn上运行一个任务,必须要启动HDFS!!! Flink On Yarn的两种提交模式提交一个flink任务给yarn:指定yid 一般是使用第一种提交模式. 取消一个flink任务 flin ...
Flink On Yarn模式，为什么使用Flink On Yarn?Session模式、Per-Job模式、关闭yarn的内存检查，由Yarn模式切换回standalone模式时需要注意的点
Flink On Yarn模式原理为什么使用Flink On Yarn? 在实际开发中,使用Flink时,更多的使用方式是Flink On Yarn模式,原因如下: -1.Yarn的资源可以按需使 ...
04_Flink-HA高可用、Standalone集群模式、Flink-Standalone集群重要参数详解、集群节点重启及扩容、启动组件、Flink on Yarn、启动命令等
1.4.Flink集群安装部署standalone+yarn 1.4.1.Standalone集群模式 1.4.2.Flink-Standalone集群重要参数详解 1.4.3.集群节点重启及扩容 1 ...
flink on yarn shell的session cluster模式实验记录
步骤: ①$FLINK_HOME/bin/yarn-session.sh ②$FLINK_HOME/bin/start-scala-shell.sh yarn 注意哈,和提交flink任务不同,不存在 ...
Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用
文章目录一.官网下载Flink 二.安装配置Flink (一)上传Flink安装到master节点 (二)解压Flink安装包到指定目录 (三)配置Flink环境变量 (三)配置Flink on Y ...
【Flink】flink on yarn 并行度设置高导致任务失败
文章目录 1.概述 1.概述 flink on yarn 并行度设置高了就失败有遇到过没,400的并行度就没事,设置成600就不断失败,是需要做什么额外的配置吗,比如网络缓冲?看报错日志没找到什么相关 ...
【Flink】Flink on yarn 支持指定 application id 吗? yarn.application.id
文章目录 1.概述 2.yarn application模式 3.yarn-session 模式 3.1 Session Mode 4.源码 4.1 yarn-session模式 4.2 yarn c ...

Flink-on-yarn

介绍

官网下载

flink集群地址

解压

修改配置

添加yarn配置项

启动flink

flink on yarn

flink with zookeeper

Flink-on-yarn相关推荐

最新文章

热门文章