Flink(九)：JobManager 内存简介
一、简介
JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成ResourceManager、Dispatcher、JobMaster。需对JobManager 内存详细了解，以及内存在整体上以及细粒度上的配置方法
二、JobManager 内存模型简介
Flink JobManager 内存模型相关配置参数说明。
| 组成部分 | 配置参数 | 描述 |
|---|---|---|
| JVM 堆内存 | jobmanager.memory.heap.size | JVM 堆内存 |
| 堆外内存 | jobmanager.memory.off-heap.size | JobManager 的堆外内存（直接内存或本地内存）默认值：128MB |
| JVM Metaspace | jobmanager.memory.jvm-metaspace.size |
Flink JVM 进程的 Metaspace 默认值256mb |
| JVM 开销 |
jobmanager.memory.jvm-overhead.min jobmanager.memory.jvm-overhead.max jobmanager.memory.jvm-overhead.fraction |
用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分 |
三、JobManager 内存运用场景
- Flink 框架
- 在作业提交时（例如一些特殊的批处理 Source）及 Checkpoint 完成的回调函数中执行的用户代码
程序运行指定jobmanager内存，参数配置 -Djobmanager.memory.process.size=4056m，页面实际分配
Flink(九)：JobManager 内存简介相关推荐
- JobManager 内存简介
一.简介 JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责:它决定何时调度下一个 task(或一组 task).对完成的 task 或执行失败做出反应.协调 check ...
- Flink 1.12 内存和提交参数
flink1.12 内存和提交参数 在使用yarn cluster模式提交flink的任务时候,往往会涉及到很多内存参数的配置 例如下面的提交命令: flink run -d -m yarn-clus ...
- 【Flink】JobManager memory configuration failed: Sum of configured JVM Metaspace (256.000mb
当我们设置jobmanager内存的时候,如果设置过小会出现如下问题(红色部分已标出) 提交参数如下 flink run -t yarn-per-job -D yarn.application.que ...
- 共享内存简介和mmap 函数
一.共享内存简介 共享内存区是最快的IPC形式,这些进程间数据传递不再涉及到内核,换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据. 即每个进程地址空间都有一个共享存储器的映射区,当这块区 ...
- Linux进程间通信六 Posix 共享内存简介与示例
1. 共享内存简介 共享内存主要用于不同进程之间相互通信,因为操作的是同一块地址,不需要内核和用户层之间数据拷贝,属于最快的进程间通信方式,不过,为了防止读写冲突,一般需要额外的同步手段.之前介绍了S ...
- Linux进程间通信一 System V 共享内存简介与示例
目录 1. System V共享内存简介 2. API介绍 2.0 key_t和标识符 2.1 创建system v共享内存 2.2 映射共享内存并使用 2.3 取消共享内存映射 2.4 控制共享内 ...
- GPU（CUDA）学习日记（十三）------ CUDA内存简介
GPU(CUDA)学习日记(十三)------ CUDA内存简介 标签: cuda存储线程结构 2012-12-07 16:53 2902人阅读 评论(0)收藏 举报 分类: GPU(16) CUDA ...
- 共享内存简介及docker容器的shm设置与修改
共享内存简介及docker容器的shm设置与修改 共享内存简介 共享内存指 (shared memory)在多处理器的计算机系统中,可以被不同中央处理器(CPU)访问的大容量内存.由于多个CPU需要快 ...
- Flink(十)：TaskManager 内存简介
一.简介 Flink TaskManager(也称为 worker)执行作业流的 task,并且缓存和交换数据流,TaskManager 负责执行用户代码.根据实际需求为 TaskManager 配 ...
最新文章
- Mysql高级调优篇——前言简介
- Leetcode: Implement strStr()
- oracle中避免sort操作
- php统计日周月数据,PHP实现 今天、昨天、上周、本周、本月、本季度 、本年数据统计功能...
- mysqld:表mysql.plugin不存在_99%测试工程师不知道的数据库知识|干货
- 手把手教你写个小程序定时器管理库
- Windows7休眠状态下载技巧攻略
- MapReduce词频统计
- mysql 解压缩安装_[mysql] MySQL解压缩安装步骤
- 如何快速转载CSDN博客(详细)
- YOLOv5瓷砖表面瑕疵质检
- flare3d_FLSL
- DEVC++中的 “万能头文件” ＜bits/stdc++.h＞
- 温习前端（HTML）
- 差异基因p为0_RNAseq数据分析文献22差异基因与临床数据相关性分析
- 妙味课堂:JavaScript初级--第11课：字符串、查找高亮显示
- tc command gives Error: Specified qdisc not found on RHEL 8
- 人生苦短，我用Python，那么问题来了，普通人要学python吗？
- Pod 污点和容忍度
- S3C2440时钟体系 - SOC裸机