1.世界

转载并且补充：参考：https://blog.jrwang.me/2019/flink-source-code-data-exchange/

2.概述

Flink中的数据交换是围绕着下面的原则设计的：

数据交换的控制流（即，为了启动交换而传递的消息）是由接收者发起的，就像原始的MapReduce一样。
用于数据交换的数据流，即通过电缆的实际数据传输，被抽象为了IntermediateResult，并且是可插拔的。这意味着系统可以使用同一实现同时支持流数据传输和批处理数据传输。

数据交换也涉及到了一些角色，包括：

JobManager，master节点，负责任务调度，异常恢复，任务协调，并且通过ExecutionGraph这样的数据结构来保存一个作业的全景图。
TaskManagers，工作节点，负责将多个任务并行的在线程中执行，每个TM中包含一个CommunicationManager（在task

95-235-050-源码-task-Flink task之间的数据交换相关推荐

Linux内核源码分析—从用户空间复制数据到内核空间
Linux内核源码分析-从用户空间复制数据到内核空间本文主要参考<深入理解Linux内核>,结合2.6.11.1版的内核代码,分析从用户空间复制数据到内核空间函数. 1.不描述内核同步. ...
emlog某涛娱乐资源网源码自带200多条数据打包
介绍: 源码说明: 某涛娱乐网源码自带200多数据打包数据可做流量站广告联盟等资源平台源码安装环境:php+mysql 1.上传源码到网站根目录 2.导入数据库到sjk.sql 3.修改数据库配置文件 ...
btcd源码解析——peer节点之间的区块数据同步 (3) —— 非headersFirstMode模式
文章目录 1. 写在前面 2. 非headersFirstMode模式下的数据同步过程 2.1 peer A 发送"获取区块哈希"的请求 2.2 peer B 响应"获取 ...
Spark源码分析之Task
一 TaskRunner 运行task override defrun(): Unit = { val threadMXBean= ManagementFactory.getThreadMXB ...
Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据
Flink 1.11 最重要的 Feature -- Hive Streaming 之前已经和大家分享过了,今天就和大家来聊一聊另一个特别重要的功能 -- CDC. CDC概述何为CDC?Chang ...
Asp.net Core中SignalR Core预览版的一些新特性前瞻,附源码(消息订阅与发送二进制数据)
前言一晃一个月又过去了,上个月有个比较大的项目要验收上线.所以忙的脚不沾地.现在终于可以忙里偷闲,写一篇关于SignalR Core的文章了. 先介绍一下SignalR吧,如下: ASP.NET S ...
djangorestframework源码分析2：serializer序列化数据的执行流程
djangorestframework源码分析本文环境python3.5.2,djangorestframework (3.5.1)系列 djangorestframework源码分析-serial ...
MongoDB源码概述——使用日志提升单机数据可靠性
在MongoDB源码概述--内存管理和存储引擎一文的最后,我们留下了一个问题,在使用MongoDB的内存管理与存储引擎时,因为其依仗操作系统的MMAP方式,将磁盘上的文件映射到进程的内存空间,这给Mo ...
源码编译安装mysql，DDL数据定义语言的使用。
今天来尝试下源码编译安装mysql. 这次我们要用到cmake工具,安装cmake. # yum install cmake # tar -xf mysql-5.5.37.tar.gz # cd my ...

95-235-050-源码-task-Flink task之间的数据交换

1.世界

2.概述

95-235-050-源码-task-Flink task之间的数据交换相关推荐

最新文章

热门文章