2.概述

Flink 并不会主动限制它消耗的CPU资源，它通过processing slots来控制一个worker 进程（也就是TaskManager）可以被分配的tasks数。一个TaskManger提供了特定数目的slots，它们注册于ResourceManager，并被其所管理。在执行程序时，一个JobManager会申请一个或多个slots，用于执行任务。一个slot可以运行一个application中任意operator的一个并行任务。所以JobManager需要至少申请operator最大并行度的slots数，才能保证任务正常执行。Task在TaskManager中以线程的方式执行，并且按需使用CPU资源。

TaskManager可提供的slots数量由taskmanager.numberOfTaskSlots 参数指定，默认为1。也就是每个TaskManager会提供一个slot。一般仅会在standalone模式下需要调整此参数，在YARN、Kubernetes、Mesos中不需要调整，因为它们可以根据资源申请更多container，而多个container也可以运行在单个节点上，效果与TaskManager中的slot基本一致。

95-280-048-源码-资源管理-CPU相关推荐

Filecoin系列 - 源码分析 - CPU SHA扩展
CPU指令集 - SHA扩展 (SHA extensions) Intel CPU的并行能力与浮点性能更强 AMD CPU支持SHA扩展, 计算SHA的性能更强 Intel CPU的浮点性能更强,是因 ...
鸿蒙内核代码行,鸿蒙内核源码分析(CPU篇) | 内核是如何描述CPU的 ? | 祝新的一年牛气冲天 ! | v36.01...
本篇说清楚CPU 读本篇之前建议先读鸿蒙内核源码分析(总目录)进程/线程篇.指令是稳定的,但指令序列是变化的,只有这样计算机才能够实现用计算来解决一切问题这个目标.计算是稳定的,但计算的数据是多变的, ...
鸿蒙内核 cpu兼容,鸿蒙内核源码分析(CPU篇) | 整个内核就是一个死循环 | 祝新的一年牛气冲天 ! | v32.04...
本篇说清楚CPU 读本篇之前建议先读鸿蒙内核源码分析(总目录)进程/线程篇. 指令是稳定的,但指令序列是变化的,只有这样计算机才能够实现用计算来解决一切问题这个目标.计算是稳定的,但计算的数据是多变的 ...
Mxnet源码安装(CPU)
文章目录一.python下简单暴力安装,不过强烈不推荐二.源码安装简记mxnet-cpu端的安装过程一.python下简单暴力安装,不过强烈不推荐 sudo pip3 install mxne ...
今年我读了四个开源项目的源码，来分享下心得
今年来看了 RocketMQ.Kafka.Dubbo .Tomcat 的源码,之前也有读者询问过如何读源码,索性就来分享一下. 其实还看了一点点 Linux.Redis.jdk8,这几个阅读的目的和上 ...
开源项目实例源码_今年我读了四个开源项目的源码，来分享下心得
今年来看了 RocketMQ.Kafka.Dubbo .Tomcat 的源码,之前也有读者询问过如何读源码,索性就来分享一下. 其实还看了一点点 Linux.Redis.jdk8,这几个阅读的目的和上 ...
go-ethereum-code-analysis 以太坊源码分析
分析go-ethereum的过程,我希望从依赖比较少的底层技术组件开始,慢慢深入到核心逻辑. 目录 go-ethereum代码阅读环境搭建以太坊黄皮书符号索引 rlp源码解析 trie源码分析 e ...
【珍藏】 2012.NET开发必看资料53个+经典源码77个—下载目录
2019独角兽企业重金招聘Python工程师标准>>> .NET 是 Microsoft XML Web services 平台.XML Web services 允许应用程序通过I ...
HashMap、ConcurrentHashMap（1.7、1.8）源码分析 + 红黑树
个人博客欢迎访问总结不易,如果对你有帮助,请点赞关注支持一下微信搜索程序dunk,关注公众号,获取博客源码序号内容 1 Java基础面试题 2 JVM面试题 3 Java并发编程面试 4 计算 ...

95-280-048-源码-资源管理-CPU

2.概述

95-280-048-源码-资源管理-CPU相关推荐

最新文章

热门文章