大数据调度平台Airflow(一):什么是Airflow
什么是Airflow
Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台,与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起,2016年3月进入Apache基金会,在2019年1月成为顶级项目。Airflow采用Python语言编写,提供可编程方式定义DAG工作流,可以定义一组有依赖的任务,按照依赖依次执行, 实现任务管理、调度、监控功能。
另外,Airflow提供了WebUI可视化界面,提供了工作流节点的运行监控,可以查看每个节点的运行状态、运行耗时、执行日志等。也可以在界面上对节点的状态进行操作,如:标记为成功、标记为失败以及重新运行等。在Airflow中工作流上每个task都是原子可重试的,一个工作流某个环节的task失败可自动或手动进行重试,不必从头开始跑。
Airflow官网:http://airflow.apache.org/,Airflow支持的任务调度类型如下:
-
大数据调度平台Airflow(一):什么是Airflow相关推荐
- 大数据调度平台之Rundeck生产实践
一.大数据调度平台有哪些? 1.1.安装部署Rundeck 1.2.Rundeck配置QQ邮箱服务 二.Rundeck调度shell脚本任务 一.大数据调度平台有哪些? 1.XXL-JOB.Runde ...
- 大数据调度平台Airflow(五):Airflow使用
目录 Airflow使用 一.Airflow调度Shell命令 1.首先我们需要创建一个python文件,导入需要的类库 2.实例化DAG 3.定义Task 4.设置task依赖关系 5.上传pyth ...
- 大数据调度平台Airflow(八):Airflow分布式集群搭建及测试
目录 Airflow分布式集群搭建及测试 一.节点规划 二.airflow集群搭建步骤 1.在所有节点安装python3.7 2.在所有节点上安装airflow 三.初始化Airflow 1.每台节点 ...
- 大数据调度平台Airflow(三):Airflow单机搭建
目录 Airflow单机搭建 一.安装Anconda及python3.7 1.官网下载Anconda ,选择linux版本,并安装 2.将下载好的anconda安装包上传至mynode4节点,进行安装 ...
- 大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比
Apache Oozie# Linkedin Azkaban # Azkaban:最适合shell脚本,当job不多的时候,可以使用. Apache Airflow # Airflow 在使用时有一大 ...
- 荔枝机器学习平台与大数据调度系统“双剑合璧”,打造未来数据处理新模式!...
点击上方 蓝字关注我们 ✎ 编 者 按 在线音频行业在中国仍是蓝海一片.根据 CIC 数据显示,中国在线音频行业市场规模由 2016 年的 16 亿元增长至 2020 年的 131 亿元,复合年增长率 ...
- 从 Airflow 到 Apache DolphinScheduler,有赞大数据开发平台的调度系统演进
点击上方 蓝字关注我们 作者 | 宋哲琦 ✎ 编 者 按 在不久前的 Apache DolphinScheduler Meetup 2021 上,有赞大数据开发平台负责人 宋哲琦 带来了平台调度系统 ...
- 贝壳一站式大数据开发平台实践
分享嘉宾:仰宗强 编辑整理:刘春龙 出品平台:DataFunTalk 导读:本次分享嘉宾是来自贝壳大数据部门的仰宗强,详细介绍了针对贝壳的业务数据与需求的增长,逐步升级数据开发平台的探索实践过程,包括 ...
- 大数据调度系统为什么选型Apache DolphinScheduler ?
table of contents 一 .背景 二 .定位 三 .案例 四 .竟品对比 五 .DolphinScheduler简介 六 .社区发展 七.性能数据参考 一 .背景 今天跟客户聊天的时候, ...
最新文章
- 依图又斩获10冠!AI芯片拿下创新技术大奖,朱珑再谈智能密度
- 【Spring-Boot】【入门 01】第一个 Spring Boot 程序
- 南核目录2020pdf_北核+南核|《消费经济》2020年重点选题
- 2021牛客OI赛前集训营-提高组(第五场)C-第K排列【dp】
- Serverless 架构到底要不要服务器?
- VS2010项目的部署与安装
- c/c++头文件之string.h、cstring与string的区别
- 图像膨胀、腐蚀算法实现 python源码
- 我的KT库之-----缓存与配置
- [译] 为什么需要在 React 类组件中为事件处理程序绑定 this
- 输入法相关的使用(跳转)
- 孔乙己:new的五种写法
- 安卓开发——MaterialDesign实战
- IB文学:如何评论现代诗歌?
- python标准差不用numpy_Python:Numpy标准差
- java敏感词屏蔽器,“敏感词过滤”功能设置
- 高德地图 java_几行代码实现高德地图的高级用法
- C/C++ 中 exit() 函数
- 电子商务外包是网络营销市场需求
- 软件测试面试常见的题目(内含答案)
热门文章
- 大数据调度平台之Rundeck生产实践