集成DAG生成插件

1、在github上下载该插件并上传到服务器上并解压，github地址为：

https://github.com/lattebank/airflow-dag-creation-manager-plugin

封装docker镜像时将文件打包到AIRFLOW_HOME目录的plugins目录

同时封装镜像时，因为该插件还集成了安全认证，但使用的flask-login模块与当前的airflow自动下载的模块版本不匹配，先卸载原来的flask-login

pip uninstall flask-login
pip install flask-login:0.2.11

部署使用

在部署k8s或者docker应用时，修改配置文件airflow.cfg，在最后添加如下配置

[dag_creation_manager]
# DEFAULT: basis
dag_creation_manager_line_interpolate = basis
# Choices for queue and pool  使用的池
dag_creation_manager_queue_pool = mydefault:mydefault|mydefault
# MR queue for queue pool  使用的队列
dag_creation_manager_queue_pool_mr_queue = mydefault:mydefault
# Category for display
dag_creation_manager_category = custom
# Task category for display
dag_creation_manager_task_category = custom_task:#ffba40
# Your email address to receive email
# DEFAULT:
dag_creation_manager_default_email = xxx@qq.com
dag_creation_manager_need_approver = False
dag_creation_manager_can_approve_self = True
# 地址
dag_creation_manager_dag_templates_dir = /usr/local/airflow/plugins/dcmp/dag_templates

该插件启用之后，许多功能会被屏蔽掉，此处不开启，如果需要开启在Airflow.cfg中的[webserver]配置：

authenticate = True
auth_backend = dcmp.auth.backends.password_auth

第一次执行时需要先升级一下现有的airflow数据库

python /opt/airflow/plugins/dcmp/tools/upgradedb.py

这样就可以打开web界面来使用ui界面编写管理dag了

打开UI界面，选择“Admin”下的“Pools”

使用介绍

下拉到底部，填写DAG相关配置，此处配置每分钟执行一次

在下方填写该TASK的名称及脚本类型与脚本代码等信息，此处脚本内容为向/tmp/airflow.dat文件定时输入“*************************”：

再点击“ADD TASK”，将会在上面的“task1”节点后添加一个task，此处的规则是要在哪个task后添加一个任务，先点击该task，再点击“ADD TASK”:

再添加一个与task1同级的task，向/tmp/airflow.log定期输出当前时间：

修改依赖，将task1和task3都作为task2的依赖:先点击task2，点击Change Upstream，选择task3

回到主界面之后，该DAG不会马上被识别出来，默认情况下Airflow是5分钟扫描一次dag目录，该配置可在airflow.cfg中修改。

识别出来之后打开主界面，点击“暂停按钮”取消暂停开始执行：

参考：https://cloud.tencent.com/developer/article/1424491

Airflow集成在线编写创建dag的插件相关推荐

Spring Boot2 + Activiti6 集成在线流程设计器 Activiti modoler(3)
前言上篇文章介绍了如何在Spring Boot2集成activiti6 接下来,小编会一步一步的介绍如何集成在线设计器 Activiti Modoler 介绍什么是 Activiti Modole ...
Webydo：一款在线自由创建网站的 Web 应用
Webydo 是一款专业的在线建站应用,使平面设计师可以创建和管理 HTML 网站,而无需编写代码.设计人员可以设计任何类型网站,只需要点击按钮,就能够发布先进的 HTML 网站. 你可以控制所有的设 ...
Springboot集成mybatis通用Mapper与分页插件PageHelper
Springboot集成mybatis通用Mapper与分页插件PageHelper 插件介绍通用 Mapper 是一个可以实现任意 MyBatis 通用方法的框架,项目提供了常规的增删改查操作以及 ...
php类的测试用例,快速入门：集成 PHPUnit 编写测试用例
快速入门:集成 PHPUnit 编写测试用例由学院君创建于3年前, 最后更新于 11个月前版本号 #2 14719 views 4 likes 0 collects 简介 Laravel 植根 ...
jQuery 使用 jQuery UI 部件工厂编写带状态的插件（翻译）
首先,我们要创建一个progress bar,它只允许我们简单的设置进度值.正如我们接下来将要看到的,我们需要通过调用 jQuery.widget 及其两个参数来实现这一操作,这两个参数分别是:将要创 ...
使用 jQuery UI Widget Factory 编写有状态的插件（Stateful Plugins）
使用 jQuery UI Widget Factory 编写有状态的插件(Stateful Plugins) 使用 jQuery UI Widget Factory 编写有状态的插件(Stateful ...
使用 spring 集成 dbcp 数据库连接池到 Wowza 插件
对于 Wowza 扩展插件,很可能需要连接数据库进行一些持久化查询操作,而且也很有可能把各种业务逻辑 bean 进行集中管理起来.本文结合集成 dbcp 数据库连接池到 Wowza 插件的案例,顺带介 ...
Exchange 2010无法创建DAG第二个成员
故障现象:windows 2008 R2和Exchange 2010 (已打SP2补丁)的环境,单独的DC.CAS& HUB.MAILBOX服务器, CAS&HUB网络负载平衡NLB, ...
postcss 插件_PostCSS深入研究：创建自己的插件
postcss 插件到现在为止,我相信您已经很认真并真正地聚集了,使PostCSS惊奇的是它蓬勃发展的插件生态系统. 一个巨大的原因是,有这么多很棒的插件,而且每时每刻都有更多的插件出现,这是因为P ...

Airflow集成在线编写创建dag的插件

集成DAG生成插件

部署使用

使用介绍

Airflow集成在线编写创建dag的插件相关推荐

最新文章

热门文章