Airflow 中文文档：API 参考

运营商

运算符允许生成某些类型的任务，这些任务在实例化时成为DAG中的节点。所有运算符都派生自BaseOperator ，并以这种方式继承许多属性和方法。有关更多详细信息，请参阅BaseOperator文档。

有三种主要类型的运营商：

执行操作的操作员，或告诉其他系统执行操作的操作员
传输操作员将数据从一个系统移动到另一个系
传感器是某种类型的运算符，它将一直运行直到满足某个标准。示例包括在HDFS或S3中登陆的特定文件，在Hive中显示的分区或当天的特定时间。传感器派生自BaseSensorOperator并在指定的poke_interval运行poke方法，直到它返回True 。

BaseOperator

所有运算符都派生自BaseOperator并通过继承获得许多功能。由于这是引擎的核心，因此值得花时间了解BaseOperator的参数，以了解可在DAG中使用的原始功能。

class airflow.models.BaseOperator(task_id, owner='Airflow', email=None, email_on_retry=True, email_on_failure=True, retries=0, retry_delay=datetime.timedelta(0, 300), retry_exponential_backoff=False, max_retry_delay=None, start_date=None, end_date=None, schedule_interval=None, depends_on_past=False, wait_for_downstream=False, dag=None, params=None, default_args=None, adhoc=False, priority_weight=1, weight_rule=u'downstream', queue='default', pool=None, sla=None, execution_timeout=None, on_failure_callback=None, on_success_callback=None, on_retry_callback=None, trigger_rule=u'all_success', resources=None, run_as_user=None, task_concurrency=None, executor_config=None, inlets=None, outlets=None, *args, **kwargs)

基础： airflow.utils.log.logging_mixin.LoggingMixin

所有运营商的抽象基类。由于运算符创建的对象成为dag中的节点，因此BaseOperator包含许多用于dag爬行行为的递归方法。要派生此类，您需要覆盖构造函数以及“execute”方法。

阅读全文／改进本文

Airflow 中文文档：API 参考相关推荐

Airflow 中文文档：概念
Airflow Platform是用于描述,执行和监控工作流的工具. 核心理念 DAG的在Airflow中, DAG (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组 ...
Airflow 中文文档：数据分析
使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据. Airflow提供了一个简单的查询界面来编写SQL并快速获得结果,以及一个图表应用程序,可以让您可视化数据. 临时查询 adhoc查询 ...
Airflow 中文文档：实验性 Rest API
Airflow公开了一个实验性的Rest API. 它可以通过网络服务器获得. 端点可在/ api / experimental /获得. 请注意,我们希望端点定义发生变化. 端点这是占位符,直到招 ...
Airflow 中文文档：常见问题
为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多. 以下是一些常见原因: 您的脚本是否"编译",Airflow引擎是否可以解析它并找到您的DAG对象. 要对此进行测试, ...
Airflow 中文文档：时区
默认情况下启用对时区的支持. Airflow在内部和数据库中以UTC格式存储日期时间信息. 它允许您使用时区相关的计划运行DAG. 目前,Airflow不会将其转换为用户界面中的最终用户时区. 它始终 ...
Airflow 中文文档：安全
默认情况下,所有门都打开. 限制对Web应用程序的访问的一种简单方法是在网络级别或使用SSH隧道执行此操作. 但是,可以通过使用其中一个提供的后端或创建自己的后端来打开身份验证. 请务必查看Exper ...
Airflow 中文文档：用Dask扩展
DaskExecutor允许您在Dask分布式群集中运行Airflow任务. Dask集群可以在单个机器上运行,也可以在远程网络上运行. 有关完整详细信息,请参阅分布式文档 . 要创建集群,首先启动调 ...
Airflow 中文文档：用Celery扩大规模
CeleryExecutor是您扩展工人数量的方法之一. 为此,您需要设置Celery后端( RabbitMQ , Redis ,-)并更改airflow.cfg以将执行程序参数指向CeleryExe ...
Airflow 中文文档：管理连接
Airflow需要知道如何连接到您的环境. 其他系统和服务的主机名,端口,登录名和密码等信息在UI的Admin->Connection部分中处理. 您将创作的管道代码将引用Connection对 ...

Airflow 中文文档：API 参考

运营商

BaseOperator

Airflow 中文文档：API 参考相关推荐

最新文章

热门文章