一:　配置:

1.配置yarn-site.xml

<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>4</value>
</property>

2.配置flink的flink-conf.yaml

high-availability: zookeeper

high-availability.storageDir: hdfs:///flink/ha/

high-availability.zookeeper.quorum: localhost:2181,diagbot02:2181

yarn.application-attempts:4

二:启动

启动yarn-session命令:　　./yarn-session.sh -n 2 -s 1 -jm 3072 -tm 6144 -nm test -d

启动yarn-session的参数解释如下

-n(--container) | taskmanager的数量 |
-s(--slots)| 用启动应用所需的slot数量/ -s 的值向上取整，有时可以多一些taskmanager，做冗余 每个taskmanager的slot数量，默认一个slot一个core，默认每个taskmanager的slot的个数为1 | 6～10
-jm | jobmanager的内存（单位MB)| 3072
-tm | 每个taskmanager的内存（单位MB)| 根据core 与内存的比例来设置，-s的值＊ （core与内存的比）来算
-nm | yarn 的appName(现在yarn的ui上的名字)｜
-d |后台执行|

启动flink命令:　　 ./flink -run file:///home/yarn/test.jar -a 1 -p 12 -yid appId -nm flink-test -d

启动应用参数解释如下

-j | 运行flink 应用的jar所在的目录
-a | 运行flink 应用的主方法的参数
-p | 运行flink应用的并行度
-c | 运行flink应用的主类, 可以通过在打包设置主类
-nm | flink 应用名字，在flink-ui 上面展示
-d | 后台执行
--fromsavepoint| flink 应用启动的状态恢复点

转载于:https://www.cnblogs.com/kwzblog/p/10253938.html

Flink on yarn相关推荐

  1. 2021年大数据Flink（六）：Flink On Yarn模式

    目录 Flink On Yarn模式 原理 为什么使用Flink On Yarn? Flink如何和Yarn进行交互? 两种方式 操作 1.关闭yarn的内存检查 2.同步 3.重启yarn 测试 S ...

  2. influxdb tsm文件_利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏

    Flink 从入门到精通 系列文章 前言 虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB.InfluxDB是 ...

  3. flink on yarn HA高可用集群搭建

    无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManage ...

  4. flink on yarn两种提交模式

    在yarn上运行一个任务,必须要启动HDFS!!! Flink On Yarn的两种提交模式 提交一个flink任务给yarn:指定yid 一般是使用第一种提交模式. 取消一个flink任务 flin ...

  5. Flink On Yarn模式，为什么使用Flink On Yarn?Session模式、Per-Job模式、关闭yarn的内存检查，由Yarn模式切换回standalone模式时需要注意的点

    Flink On Yarn模式 原理 为什么使用Flink On Yarn? 在实际开发中,使用Flink时,更多的使用方式是Flink On Yarn模式,原因如下: -1.Yarn的资源可以按需使 ...

  6. 04_Flink-HA高可用、Standalone集群模式、Flink-Standalone集群重要参数详解、集群节点重启及扩容、启动组件、Flink on Yarn、启动命令等

    1.4.Flink集群安装部署standalone+yarn 1.4.1.Standalone集群模式 1.4.2.Flink-Standalone集群重要参数详解 1.4.3.集群节点重启及扩容 1 ...

  7. flink on yarn shell的session cluster模式实验记录

    步骤: ①$FLINK_HOME/bin/yarn-session.sh ②$FLINK_HOME/bin/start-scala-shell.sh yarn 注意哈,和提交flink任务不同,不存在 ...

  8. Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用

    文章目录 一.官网下载Flink 二.安装配置Flink (一)上传Flink安装到master节点 (二)解压Flink安装包到指定目录 (三)配置Flink环境变量 (三)配置Flink on Y ...

  9. 【Flink】flink on yarn 并行度设置高导致任务失败

    文章目录 1.概述 1.概述 flink on yarn 并行度设置高了就失败有遇到过没,400的并行度就没事,设置成600就不断失败,是需要做什么额外的配置吗,比如网络缓冲?看报错日志没找到什么相关 ...

  10. 【Flink】Flink on yarn 支持指定 application id 吗? yarn.application.id

    文章目录 1.概述 2.yarn application模式 3.yarn-session 模式 3.1 Session Mode 4.源码 4.1 yarn-session模式 4.2 yarn c ...

最新文章

  1. Codeforces Beta Round #95 (Div. 2) 部分解题报告 （dp,组合数，）
  2. Eclipse 高亮显示选中的相同变量
  3. python分析数据差异的方法_用Python的两种方法进行方差分析
  4. HDOJ 2046 骨牌铺方格 【递推】
  5. html提交列表编号自动生成目录,解析 Html 自动生成目录 TOC 的相关代码
  6. Python爬取Boss直聘，帮你获取全国各类职业薪酬榜
  7. 每隔一段时间执行php_用php脚本，你如何定时更新商品列表
  8. 数字用户线（Digital Subscriber Line，DSL)
  9. HarmonyOS Hi3518系列 环境篇②——HiTool工具烧写运行
  10. java 微信小程序 在线学习系统app
  11. AT89S52单片机之硬件存储结构
  12. 【转】Xposed+JustTrustMe关闭SSL证书验证解决无法抓取https包问题
  13. 2017计蒜之道初赛第四场-商汤科技的安全令牌
  14. MR:二:什么是MR混合现实技术？
  15. 【Only one connection receive subscriber allowed with】
  16. 【GPT4】微软 GPT-4 测试报告（1）总体介绍
  17. OpenCV4.3 Java 编程入门：离散傅里叶变换
  18. ZEALER王自如品味逼格感悟
  19. 字符串的输入输出处理
  20. 阿里云周晶：基于融合与协同的边缘云原生体系实践

热门文章

  1. 收藏 | 使用 Mask-RCNN 在实例分割应用中克服过拟合
  2. C++ Primer 第五版 第6章 6.1——函数及函数定义及调用阅读笔记
  3. 设置单元格填充方式_【WPS神技能】Excel表格中单元格内的双色填充效果有点意思！...
  4. NLP系列学习:CRF条件随机场(2)
  5. （转）C++ main函数中参数argc和argv含义及用法
  6. ArcGIS(A column was specified that does not exist)
  7. python字符串只留数字_Python数字和字符串（5/30）
  8. 快手通过标签添加的我_快手内容运营技巧：快手创作者如何蹭热点？快速上热门...
  9. 程序员curd编程是什么_为什么许多程序员讨厌结对编程？
  10. php soap详解,关于PHP+SOAP详解