Airflow 中文文档：初始化数据库后端

如果您想对Airflow进行真正的试驾，您应该考虑设置一个真正的数据库后端并切换到LocalExecutor。

由于Airflow是使用优秀的SqlAlchemy库与其元数据进行交互而构建的，因此您应该能够使用任何支持作为SqlAlchemy后端的数据库后端。我们建议使用MySQL或Postgres 。

注意

我们依赖更严格的MySQL SQL设置来获得合理的默认值。确保在<cite>[mysqld]</cite>下的my.cnf中指定了<cite>explicit_defaults_for_timestamp = 1</cite>

注意

如果您决定使用Postgres ，我们建议您使用psycopg2驱动程序并在SqlAlchemy连接字符串中指定它。另请注意，由于SqlAlchemy没有公开在Postgres连接URI中定位特定模式的方法，因此您可能希望使用类似于ALTER ROLE username SET search_path = airflow, foobar;的命令为您的角色设置默认模式ALTER ROLE username SET search_path = airflow, foobar;

将数据库设置为托管Airflow后，您需要更改配置文件$AIRFLOW_HOME/airflow.cfg的SqlAlchemy连接字符串。然后，您还应该将“executor”设置更改为使用“LocalExecutor”，这是一个可以在本地并行化任务实例的执行程序。

 # initialize the database
airflow initdb

阅读全文／改进本文

Airflow 中文文档：初始化数据库后端相关推荐

Airflow 中文文档：数据分析
使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据. Airflow提供了一个简单的查询界面来编写SQL并快速获得结果,以及一个图表应用程序,可以让您可视化数据. 临时查询 adhoc查询 ...
Airflow 中文文档：概念
Airflow Platform是用于描述,执行和监控工作流的工具. 核心理念 DAG的在Airflow中, DAG (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组 ...
Airflow 中文文档：时区
默认情况下启用对时区的支持. Airflow在内部和数据库中以UTC格式存储日期时间信息. 它允许您使用时区相关的计划运行DAG. 目前,Airflow不会将其转换为用户界面中的最终用户时区. 它始终 ...
Airflow 中文文档：用Celery扩大规模
CeleryExecutor是您扩展工人数量的方法之一. 为此,您需要设置Celery后端( RabbitMQ , Redis ,-)并更改airflow.cfg以将执行程序参数指向CeleryExe ...
Airflow 中文文档：API 参考
运营商运算符允许生成某些类型的任务,这些任务在实例化时成为DAG中的节点. 所有运算符都派生自BaseOperator ,并以这种方式继承许多属性和方法. 有关更多详细信息,请参阅BaseOpera ...
Airflow 中文文档：常见问题
为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多. 以下是一些常见原因: 您的脚本是否"编译",Airflow引擎是否可以解析它并找到您的DAG对象. 要对此进行测试, ...
Airflow 中文文档：安全
默认情况下,所有门都打开. 限制对Web应用程序的访问的一种简单方法是在网络级别或使用SSH隧道执行此操作. 但是,可以通过使用其中一个提供的后端或创建自己的后端来打开身份验证. 请务必查看Exper ...
Airflow 中文文档：用Dask扩展
DaskExecutor允许您在Dask分布式群集中运行Airflow任务. Dask集群可以在单个机器上运行,也可以在远程网络上运行. 有关完整详细信息,请参阅分布式文档 . 要创建集群,首先启动调 ...
Airflow 中文文档：保护连接
默认情况下,Airflow将在元数据数据库中以纯文本格式保存连接的密码. 在安装过程中强烈建议使用crypto包. crypto包确实要求您的操作系统安装了libffi-dev. 如果最初未安装cry ...

Airflow 中文文档：初始化数据库后端

Airflow 中文文档：初始化数据库后端相关推荐

最新文章

热门文章