大数据_Flink_数据处理_运行时架构2_作业提交流程_抽象架构---Flink工作笔记0017
1.首先先去提交任务,这个提交任务可以是在网页端后台,也可以是在命令行提交任务。
在网页端后台提交就是flink的网页管理端对吧。
2.第1步任务将会被提交到分发器
3.第2步分发器会把任务转交给jobmanager,这里每提交过来一个任务就会启动对应一个作业管理器,所以每一个任务都会对应启动一个作业管理器来管理这个任务的执行。
4.第3步,作业管理器执行任务需要请求slot插槽,向resourcemanager资源管理器请求。
5.第4步,resourcemanager收到请求以后,首先去启动taskmanager,然后
第5步,taskmanager启动以后会向resourcemanager报告,有多少个可用的slot
第6步,resourcemanager得知有多少个slot可用以后,就开始向taskmanager发出
要求提供slot的指令。
6.第7步,taskmanager提供slot,然后再就是jobmanager提交任务到对应的提供
slot的节点上执行。
大数据_Flink_数据处理_运行时架构2_作业提交流程_抽象架构---Flink工作笔记0017相关推荐
- 大数据_Flink_数据处理_运行时架构4_作业调度原理及思考问题---Flink工作笔记0019
首先我们来看这个过程,可以看到 1.比如我们写了一段代码,有可能用java写的,有可能用scala写的,这个代码,首先会生成一个数据流图,然后这个数据流图可以通过客户端client 2.提交给jobm ...
- 大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取, 然后trans ...
- 大数据_Flink_数据处理_运行时架构8_数据传输和任务链---Flink工作笔记0023
然后我们再来看上一步我们理解了数据流的执行,生成过程, 然后我们再来看数据流的传输以及任务链,因为如果需要知道 两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行. 首先我们要知道 1.一 ...
- 大数据_Flink_数据处理_运行时架构6_slot和并行度的关系---Flink工作笔记0021
上面我们说了flink允许子任务共享slot,等等,有几个任务,如何分配slot等等对吧. 然后我们再继续来看slot和并行度的关系,看到上面左侧,这个任务有A任务4个并行度,然后B任务4个并行度,然 ...
- 大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020
1.并行计算不同的任务,分配到不同的线程上就可以并行计算了 2.然后并行任务,现在我们知道,如果我们设置的并行度是3,那么这里需要的slot就是3个对吧 这个跟任务的最大并行度有关 3.然后就是我们写 ...
- 大数据_Flink_数据处理_运行时架构3_yarn上作业提交流程---Flink工作笔记0018
然后我们再来看看,yarn上面的flink的job提交流程,可以看到 首先flink client,1.先去上传flink的jar包和配置,到HDFS,然后,2再提交job任务,给resourcema ...
- 大数据_Flink_数据处理_流式数据源测试---Flink工作笔记0010
前面我们已经写好了,流式数据处理的案例了. 但是我们执行的时候可以看到,我们输入的流,实际上是我们准备的一个文件对吧. 一个Text文件,实际上不算是一个流式数据源 那么正式环境的时候,一般都是,用流 ...
- 大数据_Flink_数据处理_流处理API_Source_自定义测试数据源---Flink工作笔记0028
然后我们来看,一般情况下,从文件中读取数据,用的,不如 从kafka,中读取数据用的多. 然后我们再来看一种,自定义数据源,这个主要是我们可以在上线之前模拟很多的数据来进行测试对吧. 这里我们新写一个 ...
- 大数据_Flink_数据处理_流处理API_Transform(2)_滚动聚合算子_keyBy_sum_min_max_minBy_maxBy---Flink工作笔记0030
然后我们前面看了基本的转换算子,然后我们再来看 数据聚合相关的算子. 我们可以在DataStream中查一下,可以看到,这个里面 竟然没有reduce这样的方法对吧,那怎么办,数据怎么进行聚合啊 我们 ...
最新文章
- Java--------------Mysql中时间按要求查询
- 程序员都和谁一起睡觉?
- iOS 系统汉化的plist设置
- 折半枚举(双向搜索)
- Maven学习总结(58)—— 常用的 Maven 镜像地址和中央仓库地址汇总
- Unity+NGUI多分辨率适配方案
- ubuntu 14.04 挂载window共享目录
- CVE-2018-8120 漏洞分析
- hadoop 注解之 interfaceAudience interfaceStability
- vs2015安装qt5教程
- Linux终端解压压缩文件,如何从终端解压zip文件?
- 获取Excel中sheet页的name,并对不同sheet 页进行处理
- C/C#实现RSA签名
- python+webdriver学习鼠标键盘事件以及定位元素
- html阅读是什么,阅读.html
- 女博士分享读博经历成“网红”的1年后,却被“网暴”到去公安局立案.....
- AutoCAD入门级小技巧教程
- Android二维码生成器工具类
- 毕夏钟伟强沧桑战全场泪奔
- 10 个国外顶尖的 lowcode 开发平台
热门文章
- mysql blob存储图片_显示存储在mysql blob中的图像
- 知道圆心半径取圆上的经纬度_作为一名台球高手,你应该知道的事
- eclipse properties 中文显示编码_JMeter点道为止系列(1)JMeter配置文件jmeter.properties常用配置项...
- c++用一级运算比较大小_Python运算符
- list操作 rediscluster_redis3.0 cluster功能介绍
- 一步一步学习Servlet之ServletContext对象
- linux内存管理(十四)-内存OOM触发分析
- Hadoop系列之Aggregate用法
- 面向对象编程设计练习题(1)
- js延迟加载优化页面响应速度