【Flink 实战系列】Flink on yarn 为什么 Allocated CPU VCores 显示不正确？

Flink on yarn 为什么 Allocated CPU VCores 显示不正确？

一直有朋友问我这样的问题，在 flink on yarn 集群环境下，提交任务到 yarn，一个 TM 不管我设置多少个 slot，yarn 的 UI 界面 Allocated CPU VCores 一直显示的都是 1 呢？这个问题被问到了好多次，今天就来详细的解释一下原因。

demo

比如用下面的命令提交一个 Flink 任务：

flink run -d --target yarn-per-job \
-Dyarn.application.name=FlinkStreamingBroadcastMysqlDemo \
-Dyarn.application.queue=flink \
-Dpipeline.name=FlinkStreamingBroadcastMysqlDemo \
-Dmetrics.reporter.promgateway.groupingKey="job_name=t

【Flink 实战系列】Flink on yarn 为什么 Allocated CPU VCores 显示不正确？相关推荐

Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓
摘要:本文整理自伍翀 (云邪).徐榜江 (雪尽) 在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章 ...
【Flink实战系列】Flink 1.11.1 on yarn 集群搭建教程
前面一篇博客中已经搭建了flink Standalone的集群,需要的可以进去看一下,今天主要来说一下flink on yarn 集群的搭建以及怎么提交任务,之前搭建Flink on yarn的时候用 ...
Flink基础系列8-Flink on yarn运行wordcount程序
文章目录环境介绍一.Maven配置二.Java代码编写三.Maven打包并上传四.运行jar文件五.运行其它的class文件参考环境介绍测试服务器CDH 6.3.1版本安装Flink ...
【Flink实战系列】Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/consumer/ConsumerRecord；)Ljava/
java.lang.AbstractMethodError: Method flink/stream/deserialization/PoJoDeserializationSchema.deseria ...
【Flink实战系列】Flink 提交任务遇到 Server Response Internal server error 怎么排查
很多同学在提交 Flink 任务的时候遇到下面这种报错不知道怎么排查.完全处于懵逼状态,竟一直盯着这个报错看. 记得一定要去 JM 的 logs 里面看详细的报错信息,只看这个 Internal se ...
【Flink实战系列】Flink 本地 Web UI 的配置及使用
当你在本地开发调试 Flink 任务的时候,如果没有搭建集群环境,但是又想要查看 Flink 的 Web UI 该怎么办呢? 其实 Flink 是提供有在本地查看 Flink UI 功能的. 添加依赖 ...
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战025--DateSet实用API详解025
一.Flink DateSet定制API详解(JAVA版) -002 flatMap 以element为粒度,对element进行1:n的转化. 执行程序: package code.book.bat ...
【Flink实战系列】Flink SQL 之 Session Window 的用法
Flink SQL 之 Session Window 的用法 Session Windows 会话窗口分配器按活动的会话对元素进行分组.与翻滚窗口和滑动窗口相比,会话窗口没有重叠,也没有固定的开始和结 ...
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
Flink SQL 同步 Kafka 数据到 HDFS(parquet + snappy) 在上一篇文章中,我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 ...
云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战002-Flink基于流的wordcount示例002
三.基于socket的wordcount 1.发送数据 1.发送数据命令nc -lk 9999 2.发送数据内容good good studyday day up 2.处理数据 2.1执行程序 pac ...

【Flink 实战系列】Flink on yarn 为什么 Allocated CPU VCores 显示不正确？

Flink on yarn 为什么 Allocated CPU VCores 显示不正确？

demo

【Flink 实战系列】Flink on yarn 为什么 Allocated CPU VCores 显示不正确？相关推荐

最新文章

热门文章