Airflow 中文文档:教程
本教程将向您介绍一些基本的Airflow概念,对象及其在编写第一个管道时的用法。
示例管道定义
以下是基本管道定义的示例。 如果这看起来很复杂,请不要担心,下面将逐行说明。
"""
Code that goes along with the Airflow tutorial located at:
https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/tutorial.py
"""
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime , timedeltadefault_args = {'owner' : 'airflow' ,'depends_on_past' : False ,'start_date' : datetime ( 2015 , 6 , 1 ),'email' : [ 'airflow@example.com' ],'email_on_failure' : False ,
阅读全文/改进本文
Airflow 中文文档:教程相关推荐
- React + webpack 开发单页面应用简明中文文档教程(一)一些基础概念
React + webpack 开发单页面应用简明中文文档教程(一)一些基础概念 React 入门系列教程导航 React + webpack 开发单页面应用简明中文文档教程(一)一些基础概念 Rea ...
- Airflow 中文文档:概念
Airflow Platform是用于描述,执行和监控工作流的工具. 核心理念 DAG的 在Airflow中, DAG (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组 ...
- Airflow 中文文档:数据分析
使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据. Airflow提供了一个简单的查询界面来编写SQL并快速获得结果,以及一个图表应用程序,可以让您可视化数据. 临时查询 adhoc查询 ...
- Airflow 中文文档:API 参考
运营商 运算符允许生成某些类型的任务,这些任务在实例化时成为DAG中的节点. 所有运算符都派生自BaseOperator ,并以这种方式继承许多属性和方法. 有关更多详细信息,请参阅BaseOpera ...
- Airflow 中文文档:常见问题
为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多. 以下是一些常见原因: 您的脚本是否"编译",Airflow引擎是否可以解析它并找到您的DAG对象. 要对此进行测试, ...
- Airflow 中文文档:时区
默认情况下启用对时区的支持. Airflow在内部和数据库中以UTC格式存储日期时间信息. 它允许您使用时区相关的计划运行DAG. 目前,Airflow不会将其转换为用户界面中的最终用户时区. 它始终 ...
- Airflow 中文文档:用Dask扩展
DaskExecutor允许您在Dask分布式群集中运行Airflow任务. Dask集群可以在单个机器上运行,也可以在远程网络上运行. 有关完整详细信息,请参阅分布式文档 . 要创建集群,首先启动调 ...
- Airflow 中文文档:用Celery扩大规模
CeleryExecutor是您扩展工人数量的方法之一. 为此,您需要设置Celery后端( RabbitMQ , Redis ,-)并更改airflow.cfg以将执行程序参数指向CeleryExe ...
- Airflow 中文文档:管理连接
Airflow需要知道如何连接到您的环境. 其他系统和服务的主机名,端口,登录名和密码等信息在UI的Admin->Connection部分中处理. 您将创作的管道代码将引用Connection对 ...
最新文章
- SQL Server 日期和时间相关的数据类型有两种
- keras 与tensorflow绑定在一起用的,何以见得
- 无人驾驶重塑竞争生态圈
- java静态方法加载顺序_java中类以及方法的加载顺序
- 陈斌:探索技术领导力的最佳实践
- VTK:迭代最近点变换用法实战
- Linux 后台运行程序方法总结
- StringUtils工具类说明
- createEventObject 与 createEvent EDIT WATCH
- 给客户寄荔枝很好,开展新业务更重要
- opengl编程指南
- 开滦技师学院这个学校计算机网络专业,唐山开滦技校官网
- EasyUI icon 小图标库,应有尽有(5000多个)打包下载
- python中def fun()是什么意思_PYTHON练习-def函数的基础
- 百度地图语音导航开发
- 电脑问题处理篇5:解决电脑突然蓝屏问题
- 微信小程序:图标的使用(icon)
- ps制作双重曝光海报
- 360个人图书馆文章复制方法
- 跨越2009之华为总裁任正非
热门文章
- c++tcp接收文件缓存多大合适_要是有人问我 TCP, 我能怎么扯
- MQTT 连接 阿里云物联网十六进制数据分析笔记
- Nginx基本数据结构之ngx_buf_t
- 对I2C总线的时钟同步和总线仲裁的深入理解
- pthread条件变量函数的使用
- SVD 与 PCA 的直观解释(2): 特征值与特征向量
- 单机rust怎么设置白天_工业除尘器不会选 看看粉尘治理设备生产厂家怎么说
- java中文本框如何表示为空值_去jsp页面中文本框有NULL值的代码
- 力扣645.错误的集合
- 查找-动态查找表-二叉排序树