Flink实战问题（五）：TaskManager memory configuration failed: Derived JVM Overhead size
flink 运行任务突然报错，org.apache.flink.configuration.IllegalConfigurationException: TaskManager memory configuration failed: Derived JVM Overhead size (2.500gb (2684354560 bytes)) is not in configured JVM Overhead range [192.000mb (201326592 bytes), 1024.000mb (1073741824 bytes)]
org.apache.flink.configuration.IllegalConfigurationException: TaskManager memory configuration failed: Derived JVM Overhead size (2.500gb (2684354560 bytes)) is not in configured JVM Overhead range [192.000mb (201326592 bytes), 1024.000mb (1073741824 bytes)].at org.apache.flink.runtime.clusterframework.TaskExecutorProcessUtils.processSpecFromConfig(TaskExecutorProcessUtils.java:163)at org.apache.flink.client.deployment.AbstractContainerizedClusterClientFactory.getClusterSpecification(AbstractContainerizedClusterClientFactory.java:49)at org.apache.flink.client.deployment.application.cli.ApplicationClusterDeployer.run(ApplicationClusterDeployer.java:65)at org.apache.flink.client.cli.CliFrontend.runApplication(CliFrontend.java:213)at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1057)at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:422)at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1911)at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: Derived JVM Overhead size (2.500gb (2684354560 bytes)) is not in configured JVM Overhead range [192.000mb (201326592 bytes), 1024.000mb (1073741824 bytes)].at org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils.sanityCheckJvmOverhead(ProcessMemoryUtils.java:223)at org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils.deriveJvmOverheadFromTotalFlinkMemoryAndOtherComponents(ProcessMemoryUtils.java:205)at org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils.deriveJvmMetaspaceAndOverheadFromTotalFlinkMemory(ProcessMemoryUtils.java:172)at org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils.deriveProcessSpecWithTotalFlinkMemory(ProcessMemoryUtils.java:105)at org.apache.flink.runtime.util.config.memory.ProcessMemoryUtils.memoryProcessSpecFromConfig(ProcessMemoryUtils.java:80)at org.apache.flink.runtime.clusterframework.TaskExecutorProcessUtils.processSpecFromConfig(TaskExecutorProcessUtils.java:160)... 10 more运行参数有配置-Dtaskmanager.memory.process.size 进程内存大小，报错不在范围内，排查参数发现在conf/flink-conf.xml 配置文件里面有 taskmanager.memory.flink.size这个参数
| 配置项 | TaskManager 配置参数 | JobManager 配置参数 |
|---|---|---|
| Flink 总内存 | taskmanager.memory.flink.size | jobmanager.memory.flink.size |
| 进程总内存 | taskmanager.memory.process.size | jobmanager.memory.process.size |
结论：进程总内存和 Flink 总内存冲突，去掉Flink 总内存，就正常运行起来（Flink(八)：Flink 进程内存、总内存内存简介_zhengcongyi的博客-CSDN博客）
Flink实战问题（五）：TaskManager memory configuration failed: Derived JVM Overhead size相关推荐
- 【Flink】JobManager memory configuration failed: Sum of configured JVM Metaspace (256.000mb
当我们设置jobmanager内存的时候,如果设置过小会出现如下问题(红色部分已标出) 提交参数如下 flink run -t yarn-per-job -D yarn.application.que ...
- Flink实战问题（三）： Failed to rollback to checkpoint/savepoint
一.背景 Flink cdc 的sql做进行调整,添加where条件过滤.调整sql,现在进行升级重启,想从check poit恢复数据,出现一下问题 二:错误 Caused by: java.lan ...
- 【Flink】Direct buffer memory taskmanager.memory.task.off-heap.size
文章目录 1.场景1 1.1 概述 2.场景2 1.场景1 1.1 概述 Direct buffer memory. The direct out-of-memory error has occurr ...
- [官方Flink入门笔记 ] 五、客户端操作
一 .环境说明 在前面几期的课程里面讲过了 Flink 开发环境的搭建和应用的部署以及运行,今天的课程主要是讲 Flink 的客户端操作. 本次讲解以实际操作为主.这次课程是基于社区的 Flink 1 ...
- Python入门到实战（五）自动化办公、pandas操作Excel、数据可视化、绘制柱状图、操作Word、数据报表生成、pip install国内镜像下载
Python入门到实战(五)conda使用.pandas操作Excel.数据可视化.绘制柱状图.操作Word.数据报表生成.pip install国内镜像下载 conda使用 常用操作 配置VS+Co ...
- 【go实战系列五】 go1.19.2与pkg中error如何wrap与unwrap Errors | 将error进行wrap向上处理思想 | pkg/errors
历史go篇章 [go实战系列一]开篇:在循环中重新定义变量(redefining for loop variable semantics) [go实战系列二]关于切片的基本操作 copy sort a ...
- Flink实战 - 统计每个店铺每日GMV
Flink实战-统计每个店铺每日GMV 接到一个实时指标的需求,计算每个店铺每日的实时GMV.这个实时指标不难,对每个店铺.每日分组累计销售额就OK. 就是想的这么简单,结果在上面踩了坑. 问题 计算 ...
- git 大文件报错Out of memory, malloc failed、 The remote end hung up unexpectedly
git clone出现 "fatal: The remote end hung up unexpectedly" 设置 git config --global http.post ...
- linux下R安装RMySQL不成功 configuration failed for package ‘RMySQL’
linux下R安装RMySQL不成功 configuration failed for package 'RMySQL' #install.packages('RMySQL') 报错: 将程序包安装入 ...
最新文章
- IBM XIV高效存储广受公安、医疗、电信、金融等客户赞誉
- 时间序列预测——线性回归（上下界、异常检测），异常检测时候历史数据的输入选择是关键，使用过去历史值增加模型健壮性...
- 三维图----2（房子）
- Java应用程序与小程序之间有那些差别？
- hdu1808-Halloween treats(抽屉原理)
- threadx 信号量 应用_操作系统及ThreadX简介.ppt
- DBATools PowerShell SQL Server数据库备份命令
- dnf外挂java代码,dnf脚本制作教程共22课java
- B 站， YYDS！看了这些 Java视频，我直呼好家伙！！！
- Linux Shell学习-第二讲（进阶篇）
- css margin 塌陷 经典bug
- 我努力了十年，才让我的老婆不上班
- python pip 的安装、更新、卸载、降级、和使用 pip 管理包
- 【AVL树】AVL树的插入操作以及旋转
- 深圳免费旅游景点大全｜深圳旅游攻略（上）
- 【人工智能】人类大脑中的神经元群体是如何相互作用，进而产生感知和行为的？
- 重庆已建成4.2万余个5G基站；山西省累计建成5G基站1.2万个
- 著名的Oracle公司中文名字为什么叫“甲骨文”？
- Qt优秀开源项目之十二：shotcut
- 阿里云mysql_阿里云下配置MySQL远程连接的步骤详解