Airflow 中文文档：插件
Airflow内置了一个简单的插件管理器，可以通过简单地删除$AIRFLOW_HOME/plugins文件夹中的文件，将外部功能集成到其核心。
plugins文件夹中的python模块将被导入， 钩子 ， 操作符 ， 传感器 ， 宏 ， 执行器和Web 视图将集成到Airflow的主要集合中，并可供使用。
做什么的？
Airflow提供了一个用于处理数据的通用工具箱。 不同的组织有不同的堆栈和不同的需求。 使用Airflow插件可以让公司定制他们的Airflow安装以反映他们的生态系统。
插件可以用作编写，共享和激活新功能集的简便方法。
还需要一组更复杂的应用程序来与不同风格的数据和元数据进行交互。
例子：
- 一组用于解析Hive日志和公开Hive元数据（CPU / IO /阶段/倾斜/ …）的工具
- 异常检测框架，允许人们收集指标，设置阈值和警报
- 审计工具，帮助了解谁访问了什么
- 配置驱动的SLA监控工具，允许您设置受监控的表以及应该在何时着陆，提醒人员并公开停机的可视化
- …
阅读全文／改进本文
Airflow 中文文档：插件相关推荐
- Airflow 中文文档：概念
Airflow Platform是用于描述,执行和监控工作流的工具. 核心理念 DAG的 在Airflow中, DAG (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组 ...
- Airflow 中文文档：数据分析
使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据. Airflow提供了一个简单的查询界面来编写SQL并快速获得结果,以及一个图表应用程序,可以让您可视化数据. 临时查询 adhoc查询 ...
- Airflow 中文文档：API 参考
运营商 运算符允许生成某些类型的任务,这些任务在实例化时成为DAG中的节点. 所有运算符都派生自BaseOperator ,并以这种方式继承许多属性和方法. 有关更多详细信息,请参阅BaseOpera ...
- Airflow 中文文档：常见问题
为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多. 以下是一些常见原因: 您的脚本是否"编译",Airflow引擎是否可以解析它并找到您的DAG对象. 要对此进行测试, ...
- Airflow 中文文档：时区
默认情况下启用对时区的支持. Airflow在内部和数据库中以UTC格式存储日期时间信息. 它允许您使用时区相关的计划运行DAG. 目前,Airflow不会将其转换为用户界面中的最终用户时区. 它始终 ...
- Airflow 中文文档：用Dask扩展
DaskExecutor允许您在Dask分布式群集中运行Airflow任务. Dask集群可以在单个机器上运行,也可以在远程网络上运行. 有关完整详细信息,请参阅分布式文档 . 要创建集群,首先启动调 ...
- Airflow 中文文档：用Celery扩大规模
CeleryExecutor是您扩展工人数量的方法之一. 为此,您需要设置Celery后端( RabbitMQ , Redis ,-)并更改airflow.cfg以将执行程序参数指向CeleryExe ...
- Airflow 中文文档：管理连接
Airflow需要知道如何连接到您的环境. 其他系统和服务的主机名,端口,登录名和密码等信息在UI的Admin->Connection部分中处理. 您将创作的管道代码将引用Connection对 ...
- Airflow 中文文档：集成
反向代理 Azure:Microsoft Azure AWS:亚马逊网络服务 Databricks GCP:Google云端平台 反向代理 可以在反向代理后面设置气流,并能够灵活地设置其端点. 例如, ...
最新文章
- 使用Apache TVM将机器学习编译为WASM和WebGPU
- JavaScript的DOM操作-重点部分-第一部分
- 天平秤重问题（三进制）
- 地理防灾减灾思维导图_17张思维导图，让你轻松学好高中地理必修一
- Java web后端1 XML URI与URL HTTP Tomcat
- bzoj4639 博士的选取器
- qt和python关系_Python与Qt - AlphaJay的个人空间 - OSCHINA - 中文开源技术交流社区
- 百度头条正式火拼：尔要战，便战！
- ASP.NET 2.0 Page的执行顺序
- spring5.X源码构建
- deepin驱动精灵_深度Linux Deepin系统安装教程使用体验
- 一些常用外设DHT11，sg90
- 华三F100 系列防火墙 - 浮动路由联动NQA 实现双线路自动切换
- 电脑无法查看计算机属性,我的电脑属性打不开怎么办
- ma5671怎么设置_电信/联通/移动，更换华为MA5671光猫详细教程
- 暂时性死区(TDZ)
- 地图影像图数量存储大小精度推算
- Mongoose Schema 和 SchemaTypes
- mac+微信打开连接到服务器,MAC OS系统 ，微信接收到的文件，打开wo… - Apple 社区...
- 【Mysql面试宝典】快速搞定Mysql表操作