生产环境中on yarn模式是否采用yarn session

flink on yarn包括 yarn session以及per job两种方式.

那么生产环境中到底采用哪种呢?

下面是社区群中的讨论:

所以on yarn模式在生产环境中我们使用per job

根据[1],

standalone模式也没法用，我看了下我的jps,是这样的：

643545 DataNode
644973 QuorumPeerMain
643773 SecondaryNameNode
643372 NameNode
644348 NodeManager
587823 Launcher
644094 ResourceManager
645651 StandaloneSessionClusterEntrypoint
645925 TaskManagerRunner
649188 Jps
308458 KotlinCompileDaemon
292107 Main

根据[2]

概念名称	对应的硬件资源/系统资源
Task Manager	多个CPU Core
Task Slot	一个CPU core
Task Slot	多线程共享

也就是说standalone也是Session模式的，不可用，job之间的隔离性不好．

所以生产模式能用的也就只有yarn per-job方式．

Reference:

[1]Flink SQL CDC 上线！我们总结了 13 条生产实践经验

[2]flink随手笔记之Slot分配与共享

生产环境中on yarn模式是否采用yarn session相关推荐

linux网卡slave状态,生产环境中linux bonding 主备模式slave网卡切换的方法
linux bonding 主备模式slave网卡切换的方法我们有时候做演练或测试,测试bonding slave网卡切换,或者疑是因为一块网卡有问题,想切换到另外一块slave网卡,通常情况下,我 ...
Sentinel（十五）之在生产环境中使用 Sentinel
转载自在生产环境中使用 Sentinel 引言 Sentinel 目前已可用于生产环境,除了阿里巴巴以外,也有很多企业在生产环境中广泛使用 Sentinel. 生产环境的 Sentinel Das ...
Dubbo Mesh 在闲鱼生产环境中的落地实践
本文作者至简曾在 2018 QCon 上海站以<Service Mesh 的本质.价值和应用探索>为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展思路是"借力开源. ...
记录一次生产环境中Redis内存增长异常排查全流程！
作者:z小赵 ★ 一枚用心坚持写原创的"无趣"程序猿,在自身受益的同时也让朋友们在技术上有所提升. 最近 DBA 反馈线上的一个 Redis 资源已经超过了预先设计时的容量,并且已 ...
在生产环境中调试 Angular 应用程序而不显示源映射
当我们的 Angular 应用程序部署到生产环境时,我们经常会遇到与我们在开发过程中编辑的不同的代码.我们的代码在构建过程中会以各种方式进行修改和优化. TypeScript 被 transpiled ...
一文教你如何在生产环境中在Kubernetes上部署Jaeger
作者 | Dotan Horovit 翻译 | 火火酱~ 责编 | 晋兆雨出品 | CSDN云计算日志.指标和跟踪是"可观察性"领域的三大支柱.最近几个月,随着OpenTel ...
重磅福利！《Apache Flink 十大技术难点实战》发布，帮你从容应对生产环境中的技术难题...
精选30+云产品,助力企业轻松上云!>>> 简介: 总结生产环境十大常见难点,10篇技术实战文章帮你完成故障识别.问题定位.性能优化等全链路过程,实现从基础概念的准确理解到上手实操的 ...
写一段代码提高内存占用_记录一次生产环境中Redis内存增长异常排查全流程！...
点击上方 IT牧场 ,选择置顶或者星标技术干货每日送达最近 DBA 反馈线上的一个 Redis 资源已经超过了预先设计时的容量,并且已经进行了两次扩容,内存增长还在持续中,希望业务方排查一下容量 ...
云端设计平台Coohom在生产环境中使用istio的经验与实践
介绍自从istio-1.0.0在今年发布了正式版以后,Coohom项目在生产环境中也开启了使用istio来作为服务网格. 本文将会介绍与分享在Coohom项目在使用istio中的一些实践与经验. C ...

生产环境中on yarn模式是否采用yarn session

生产环境中on yarn模式是否采用yarn session相关推荐

最新文章

热门文章