0006-Flink原理(Flink数据流 执行图)
一、程序与数据流转换（DataFlow）
• 所有的Flink程序都是由三部分组成的： Source 、Transformation 和 Sink。
• Source 负责读取数据源，Transformation 利用各种算子进行处理加工，Sink 负责输出
• 在运行时，Flink上运行的程序会被映射成“逻辑数据流”（dataflows），它包含了这三部分
• 每一个dataflow以一个或多个sources开始以一个或多个sinks结束。dataflow类似于任意的有向无环图（DAG）
• 在大部分情况下，程序中的转换运算（transformations）跟dataflow中的算子（operator）是一一对应的关系
二、执行图
• Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph-> 物理执行图
Ø StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。
Ø JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起作为一个节点
Ø ExecutionGraph：JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。
Ø 物理执行图：JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的“图”，并不是一个具体的数据结构。
从上图我们可以看出aggregation和sink两个步骤合并了，那么为什么会合并呢，这就引出了数据传输形式。
数据传输形式
• 一个程序中，不同的算子可能具有不同的并行度
• 算子之间传输数据的形式可以是 one-to-one (forwarding) 的模式也可以是redistributing 的模式，具体是哪一种形式，取决于算子的种类
Ø One-to-one(不涉及shuffle过程)：stream维护着分区以及元素的顺序（比如source和map之间）。这意味着map 算子的子任务看到的元素的个数以及顺序跟 source 算子的子任务生产的元素的个数、顺序相同。map、fliter、flatMap等算子都是one-to-one的对应关系。
Ø Redistributing(涉及shuffle过程)：stream的分区会发生改变。每一个算子的子任务依据所选择的transformation发送数据到不同的目标任务。例如，keyBy 基于 hashCode 重分区、而 broadcast 和 rebalance 会随机重新分区，这些算子都会引起redistribute过程，而 redistribute 过程就类似于 Spark 中的 shuffle 过程。
任务链（Operator Chains）
• Flink 采用了一种称为任务链的优化技术，可以在特定条件下减少本地通信的开销。为了满足任务链的要求，必须将两个或多个算子设为相同的并行度，并通过本地转发（local forward）的方式进行连接
• 相同并行度的 one-to-one 操作，Flink 这样相连的算子链接在一起形成一个 task，原来的算子成为里面的 subtask
• 并行度相同、并且是 one-to-one 操作，两个条件缺一不可
0006-Flink原理(Flink数据流 执行图)相关推荐
- 5.Flink原理初探\角色分工\执行流程图生成\DataFlow,Operator,Partition,Parallelism,SubTask\OperatorChain和Task\任务槽\槽共享
本文来自:Flink1.12-2021黑马程序员贺岁视频 的学习笔记 5.Flink原理初探 5.1.角色分工 5.2.执行流程 5.3.DataFlow 5.3.1.DataFlow.Operato ...
- Flink 流处理概念：Dataflow编程、执行图、并行度、数据传输策略、任务链
文章目录 Dataflow编程 执行图 并行度 数据传输策略 任务链 Dataflow编程 顾名思义,Dataflow程序描述了数据如何在不同操作之间流动.Dataflow程序通常表现为有向无环图(D ...
- 2021年大数据Flink（九）：Flink原理初探
Flink原理初探 Flink角色分工 在实际生产中,Flink 都是以集群在运行,在运行的过程中包含了两类进程. JobManager: 它扮演的是集群管理者的角色,负责调度任务.协调 checkp ...
- 追源索骥：透过源码看懂Flink核心框架的执行流程
https://www.cnblogs.com/bethunebtj/p/9168274.html 追源索骥:透过源码看懂Flink核心框架的执行流程 前言 1.从 Hello,World WordC ...
- 追源索骥：透过源码看懂Flink核心框架的执行流程--来自GitHub
追源索骥:透过源码看懂Flink核心框架的执行流程 联系qq2499496272可进行删除,需要文件版本的私聊!!~ 文章目录 追源索骥:透过源码看懂Flink核心框架的执行流程 前言 1.从 ~~H ...
- Flink教程（05）- Flink原理简单分析
文章目录 01 引言 02 Flink角色 03 Flink执行流程 3.1 Standalone版本 3.2 on yarn 04 Flink Streaming Dataflow 4.1 Flin ...
- 初识Flink 原理介绍、发展由来。
Apache Flink是什么? 在当代数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题.随着雅虎对hadoop的开源 ...
- flink source 同步_如何生成 Flink 作业的交互式火焰图？
原标题:如何生成 Flink 作业的交互式火焰图? 简介:Flink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 ...
- 如何生成 Flink 作业的交互式火焰图？
简介: Flink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用, ...
最新文章
- cpu调度的最小单位_Linux CFS调度器
- 英国政府发人工智能深度报告，力图保持领先地位
- 好用到爆的 Java 小技巧
- layer.alert/confirm文字换行
- Java Web项目--使用JSP生成一个页面
- Linux中ELF格式 可执行文件+动态链接器 的加载
- JavaScript复制数组
- java parseint()
- kvm虚拟机块对齐问题研究
- IWAM账号 HTTP500内部错误
- 内存管理的概念及作用
- Raki的读paper小记：How to Fine-Tune BERT for Text Classification?
- Threejs 精灵火焰特效 Sprite Firey Aura effect
- 使用console配置线连接真机路由器
- 修改VS项目的目标平台(目标框架)
- spring boot 报错:extShutdownHook ...was destroying!
- C++学习笔记4：编程练习一
- 鞍山c语言培训,10_鞍山科技大学：C语言与数据结构_ppt_大学课件预览_高等教育资讯网...
- 微信一次性订阅消息流程
- Java面向对象实例(双色球摇号篇)