flink on yarn 103错误浅析

背景：

    1、flink on yarn：错误日志exited with exitCode: -1032、某一天本人提交flink任务，.原命令/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024，正常启动，我调大了-ytm为2048.程序一直报Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster，但实际上，整个集群内存很充足，我就懵逼了。3、开启解惑之旅。

解惑记录如下，希望同样问题的小伙伴可以借鉴一下。

    出现这个问题，我首先想到了我前几天调的yarn参数，yarn.nodemanager.vmem-pmem-ratio调了值为5，这个是虚拟内存和真实物理内存的比率，这参数默认值为2.1，我把yarn.nodemanager.vmem-pmem-ratio 调小为3.然后运行

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 2048 -ynm xxxx -d -c com.xxx.flink.app.xxxx /var/apps/xxx-xxx.jar 正常启动。

yarn.nodemanager.vmem-pmem-ratio 3 Ratio between virtual memory to physical memory when setting memory limits for containers. Container allocations are expressed in terms of physical memory, and virtual memory usage is allowed to exceed this allocation by this ratio.

有感：比如yarn-参数一般是作为基础参数， yarn启动之后一般不做修改，那就设置为偏小或者最小值，然后每次给作业job分配的时候就按实际的申请就可以了

看错误日志看到睡觉

flink on yarn 103错误浅析相关推荐

flink部署yarn错误：Couldn‘t deploy Yarn session cluster
Couldn't deploy Yarn session cluster 错误信息 flink on yarn启动yarn-session时, 出现yarn-session无法部署错误并且提示2.1 ...
04_Flink-HA高可用、Standalone集群模式、Flink-Standalone集群重要参数详解、集群节点重启及扩容、启动组件、Flink on Yarn、启动命令等
1.4.Flink集群安装部署standalone+yarn 1.4.1.Standalone集群模式 1.4.2.Flink-Standalone集群重要参数详解 1.4.3.集群节点重启及扩容 1 ...
flink on yarn shell的session cluster模式实验记录
步骤: ①$FLINK_HOME/bin/yarn-session.sh ②$FLINK_HOME/bin/start-scala-shell.sh yarn 注意哈,和提交flink任务不同,不存在 ...
【Flink】flink on yarn 并行度设置高导致任务失败
文章目录 1.概述 1.概述 flink on yarn 并行度设置高了就失败有遇到过没,400的并行度就没事,设置成600就不断失败,是需要做什么额外的配置吗,比如网络缓冲?看报错日志没找到什么相关 ...
详解Flink中yarn部署模式以及测试
在Flink中一共有三种部署模式,分别为local,standalone和yarn模式,由于前两者主要是用于开发和测试,本文将不再赘述,企业中用的更多的是yarn模式,关于yarn模式下为什么比sta ...
大数据Flink进阶（十五）：Flink On Yarn任务提交
文章目录 Flink On Yarn任务提交一.Flink On Yarn运行原理二.代码及Yarn环境准备 1.准备代码 2.yarn 环境准备三.Yarn Session模式 1.任务提交命 ...
flink on yarn集群搭建
环境需求 CentOS7.5.1804.jdk1.8.0_181.zookeeper3.6.2.hadoop3.2.2.flink1.12.2 关于hadoop的安装细节请查看<hadoop3. ...
2021年大数据Flink（六）：Flink On Yarn模式
目录 Flink On Yarn模式原理为什么使用Flink On Yarn? Flink如何和Yarn进行交互? 两种方式操作 1.关闭yarn的内存检查 2.同步 3.重启yarn 测试 S ...
influxdb tsm文件_利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
Flink 从入门到精通系列文章前言虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB.InfluxDB是 ...
matlab错误103 577,小编为你作答win7系统安装MATLAB出现 license manager error 103错误的还原教程...
win7旗舰版是用户量最大的一款操作系统:有不少人在使用中都遇见了win7系统安装MATLAB出现 license manager error 103错误的问题,相信很多朋友是人生中第一次碰到win7 ...

flink on yarn 103错误浅析

flink on yarn 103错误浅析相关推荐

最新文章

热门文章