Architecture

Airflow是一个DGA流派的作业调度平台，既然是作业调度平台，那就分执行作业和调度作业的逻辑，Airflow Scheduler模块实现调度作业的逻辑，Airflow Executor模块实现执行作业的逻辑；此外Airflow还有一个Web Server模块，是一个Web UI，主要是提供各种信息的查看功能；懒得画图了，百度了下，从如何部署一个健壮的 apache-airflow 调度系统中扒来一个，基本就是这样的架构；

作业定义

上面提到，Airflow是一个作业调度平台，需要处理用户定义的调度信息和作业信息，那么用户如何指定这两个信息呢？答案就是Pipeline definition文件；这个文件具体是一个Python的脚本文件；可以去官网或者官方的库里找些example看看；在Pipeline definition文件中主要体现的就是调度和作业两个内容，DAG对象用于定于调度规则，各个Operator对象，比如BashOperator，用于定义作业；

参考

Apache Airflow Documentation
如何部署一个健壮的 apache-airflow 调度系统

Airflow Architecture相关推荐

激光雷达Lidar Architecture and Lidar Design（下）
激光雷达Lidar Architecture and Lidar Design(下) Considerations on Lidar Design 双基地还是单基地? 双轴还是同轴? 几何重叠向上还 ...
激光雷达Lidar Architecture and Lidar Design（上）
激光雷达Lidar Architecture and Lidar Design(上) 介绍激光雷达结构: 基本条件构型和基本布置激光雷达设计: 基本思想和基本原则总结介绍激光雷达结构是激光 ...
NVIDIA Turing Architecture架构设计（下）
NVIDIA Turing Architecture架构设计(下) GDDR6 内存子系统随着显示分辨率不断提高,着色器功能和渲染技术变得更加复杂,内存带宽和大小在 GPU 性能中扮演着更大的角色. ...
NVIDIA Turing Architecture架构设计（上）
NVIDIA Turing Architecture架构设计(上) 在游戏市场持续增长和对更好的 3D 图形的永不满足的需求的推动下, NVIDIA ®已经将 GPU 发展成为许多计算密集型应用的世界 ...
ffmpeg architecture（下）
ffmpeg architecture(下) 第3章-转码 TLDR:给我看代码和执行. $ make run_transcoding 我们将跳过一些细节,但是请放心:源代码可在github上找到. ...
ffmpeg architecture（中）
ffmpeg architecture(中) 艰苦学习FFmpeg libav 您是否不奇怪有时会发出声音和视觉? 由于FFmpeg作为命令行工具非常有用,可以对媒体文件执行基本任务,因此如何在程序中 ...
ffmpeg architecture（上）
ffmpeg architecture(上) · 视频-您看到的是什么! · 如果您有一系列图像序列,并以给定的频率(例如每秒24张图像)进行更改,则会产生运动的错觉.总之,这是视频背后的基本概念:一 ...
编译器架构Compiler Architecture（下）
编译器架构Compiler Architecture(下) Combining Scanning and Parsing 实际上没有必要将扫描(词法分析/标记化)与解析(语法分析/树生成)分开.基于P ...
编译器架构Compiler Architecture（上）
编译器架构Compiler Architecture(上) 编译器是程序,通常是非常大的程序.它们几乎都有一个基于翻译分析综合模型的结构. CONTENTS Overview • Compiler C ...

Airflow Architecture

Architecture

作业定义

参考

Airflow Architecture相关推荐

最新文章

热门文章