大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020

1.并行计算不同的任务,分配到不同的线程上就可以并行计算了

2.然后并行任务,现在我们知道,如果我们设置的并行度是3,那么这里需要的slot就是3个对吧

这个跟任务的最大并行度有关

3.然后就是我们写的一串代码,到底包含几个任务呢?每个算子包含几个任务了呢?

这个也需要解释.

然后我们再来看什么是并行度,可以看到一个任务,有几个子任务就有几个并行度,实际上就是

看一个任务是被拆成了几个任务来处理对吧.

可以看到上面source,这里,分成了2个子任务对吧,分别是source1,source2,两个子任务,并行度就是2了,然后再看map,这里两个map,那么并行度也是2,这两个map会分配到不同的slot上去执行.

然后再看整条流他的并行度是什么呢?注意,整条流的并行度,可以看到,就是在这个数据流图的过程中,他的拥有最多子任务的,那个任务的并行度,也就是,并行度最大的那个任务的,并行度,就是整个数据流图的并行度.

大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020相关推荐

大数据_Flink_数据处理_运行时架构4_作业调度原理及思考问题---Flink工作笔记0019
首先我们来看这个过程,可以看到 1.比如我们写了一段代码,有可能用java写的,有可能用scala写的,这个代码,首先会生成一个数据流图,然后这个数据流图可以通过客户端client 2.提交给jobm ...
大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取, 然后trans ...
大数据_Flink_数据处理_运行时架构8_数据传输和任务链---Flink工作笔记0023
然后我们再来看上一步我们理解了数据流的执行,生成过程, 然后我们再来看数据流的传输以及任务链,因为如果需要知道两个任务到底是如何合并的,这里就需要知道数据流传输和任务链才行. 首先我们要知道 1.一 ...
大数据_Flink_数据处理_运行时架构6_slot和并行度的关系---Flink工作笔记0021
上面我们说了flink允许子任务共享slot,等等,有几个任务,如何分配slot等等对吧. 然后我们再继续来看slot和并行度的关系,看到上面左侧,这个任务有A任务4个并行度,然后B任务4个并行度,然 ...
大数据_Flink_数据处理_运行时架构3_yarn上作业提交流程---Flink工作笔记0018
然后我们再来看看,yarn上面的flink的job提交流程,可以看到首先flink client,1.先去上传flink的jar包和配置,到HDFS,然后,2再提交job任务,给resourcema ...
大数据_Flink_数据处理_运行时架构2_作业提交流程_抽象架构---Flink工作笔记0017
1.首先先去提交任务,这个提交任务可以是在网页端后台,也可以是在命令行提交任务. 在网页端后台提交就是flink的网页管理端对吧. 2.第1步任务将会被提交到分发器 3.第2步分发器会把任务转交给jo ...
大数据_Flink_数据处理_流处理API_Source_自定义测试数据源---Flink工作笔记0028
然后我们来看,一般情况下,从文件中读取数据,用的,不如从kafka,中读取数据用的多. 然后我们再来看一种,自定义数据源,这个主要是我们可以在上线之前模拟很多的数据来进行测试对吧. 这里我们新写一个 ...
大数据_Flink_数据处理_资源的分配和并行度测试---Flink工作笔记0013
上一节我们已经知道了怎么样提交job,以及在提交job的时候给job配置并行度,以及查看运行计划对吧,但是我们没有运行起来,我们说,我们有4个task,但是我们只有1个slot对吧可以看到上面av ...
大数据_Flink_数据处理_流式数据源测试---Flink工作笔记0010
前面我们已经写好了,流式数据处理的案例了. 但是我们执行的时候可以看到,我们输入的流,实际上是我们准备的一个文件对吧. 一个Text文件,实际上不算是一个流式数据源那么正式环境的时候,一般都是,用流 ...

大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020

大数据_Flink_数据处理_运行时架构5_slot和任务调度---Flink工作笔记0020相关推荐

最新文章

热门文章