64 任务调度神器 Airflow

Airflow是Apache下孵化项目，是纯Python编写的一款非常优雅的开源调度平台。Airflow使用DAG(有向无环图)来定义工作流，配置作业以来关系非常方便，毫不夸张的说：再开源的调度工具中，Airflow是首屈一指。

Airflow简介

Airflow具备以下天然优势：

1 . 灵活易用。 Airflow本身是Python编写的，且工作流的定义也是Python编写，有了Python胶水的特性，没有什么任务是调度不了的，有了开源的代码，没有什么问题是无法解决的，我们可以修改源代码来满足个性化的需求，而且代码都是--human-readable 。

2. 功能强大。自带的Operators都有15+ ，也就是说本身已经支持15+不同类型的作业，而且还可以自定义Operators，如shell脚本、Python、Mysql、Oracle、Hive等。无论是传统数据库平台还是大数据平台，统统不在话下，若对官方提供的不满足，则完全可以自己编写Operators.

3. 优雅。作业的定义简单明了，基于JinJa模板引擎很容易做到脚本命令参数化，Web页面更是非常--human-readable。

4. 极易扩展。提供各种基类供扩展，以及多种执行器供选择，其中CeleryExcutor使用了消息队列来编排多个工作节点（worker），可分布式部署多个worker，Airflow可以做到无限扩展。

5. 丰富的命令工具。 可以直接在终端敲命令完成测

64 任务调度神器 Airflow相关推荐

你不可不知的任务调度神器-AirFlow
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 大数据真好玩点击右侧关注,大数据真好 ...
任务调度神器 airflow 之初体验
airflow 是 apache下孵化项目,是纯 Python 编写的一款非常优雅的开源调度平台.github 上有 9161 个星,是非常受欢迎的调度工具.airflow 使用 DAG (有向无 ...
全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）
目录大数据领域分析系统平台集群管理与监控文件系统资源调度协调框架数据存储数据处理数据查询和分析数据收集消息系统任务调度数据治理数据可视化云平台大数据必知点大厂应用实践 ...
从 Airflow 到 Apache DolphinScheduler，有赞大数据开发平台的调度系统演进
点击上方蓝字关注我们作者 | 宋哲琦 ✎ 编者按在不久前的 Apache DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人宋哲琦带来了平台调度系统 ...
吐血整理出来的大数据知识点，你掌握多少？
前言 hi!我是啊晨 ,一个大数据分享者,好久没发博客了,最近忙于找工作,然后顺带整理了一些资料,相信也有一部分好兄弟,也在苦于找工作,或者正在学习大数据的知识,不太会总结的.我只能这样说,你来对了. ...
硅谷企业的大数据平台架构什么样？看看Twitter、Airbnb、Uber的实践
导读:本文分析一下典型硅谷互联网企业的大数据平台架构. 作者:彭锋宋文欣孙浩峰来源:大数据DT(ID:hzdashuju) 01 Twitter的大数据平台架构 Twitter是最早一批推进数字 ...
助力工业物联网，工业大数据项目介绍及环境构建【一、二】
文章目录工业大数据项目介绍及环境构建 01:专栏目标 02:项目背景 03:项目需求 04:业务流程 05:技术选型 06:Docker的介绍 07:Docker的网络 08:Docker的使用 0 ...
Amazon Glue ETL 作业调度工具选型初探
Amazon Glue 是一项完全托管,无服务器架构的ETL服务.客户无需预置基础设置,仅需由 Glue 负责预置.扩展 Spark 运行环境,客户只需要专注开发 ETL 代码,并且使用 Amazon ...
企业级指标体系搭建全流程落地
这是「活用数据」的第 9 篇原创文章本文先介绍了指标体系的概念,然后论证了引入指标体系的必要性,最后详细讲解了企业中搭建指标体系的全流程. 文章目录数据指标体系是什么? 为什么需要数据指标体系? ...

64 任务调度神器 Airflow

Airflow简介

64 任务调度神器 Airflow相关推荐

最新文章

热门文章