Airflow 中文文档：使用Mesos扩展（社区贡献）

有两种方法可以将气流作为mesos框架运行：

直接在mesos从站上运行气流任务，要求每个mesos从站安装和配置气流。
在安装了气流的docker容器内运行气流任务，该容器在mesos slave上运行。

任务直接在mesos从站上执行

MesosExecutor允许您在Mesos群集上安排气流任务。为此，您需要一个正在运行的mesos集群，并且必须执行以下步骤 -

在将运行Web服务器和调度程序的mesos从站上安装气流，让我们将其称为“Airflow服务器”。
在Airflow服务器上，从mesos下载安装mesos python eggs。
在Airflow服务器上，使用可从所有mesos从站访问的数据库（例如mysql）并在airflow.cfg添加配置。
将airflow.cfg更改为指向airflow.cfg的point executor参数，并提供相关的Mesos设置。
在所有mesos奴隶上，安装气流。从Airflow服务器复制airflow.cfg （以便它使用相同的sql炼金术连接）。
在所有mesos从服务器上，运行以下服务日志：

airflow serve_logs

阅读全文／改进本文

Airflow 中文文档：使用Mesos扩展（社区贡献）相关推荐

springcloud的中文文档地址和中国社区
中文文档 https://www.springcloud.cc/ 中国社区 http://springcloud.cn/
Airflow 中文文档：概念
Airflow Platform是用于描述,执行和监控工作流的工具. 核心理念 DAG的在Airflow中, DAG (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组 ...
Airflow 中文文档：数据分析
使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据. Airflow提供了一个简单的查询界面来编写SQL并快速获得结果,以及一个图表应用程序,可以让您可视化数据. 临时查询 adhoc查询 ...
Airflow 中文文档：用Dask扩展
DaskExecutor允许您在Dask分布式群集中运行Airflow任务. Dask集群可以在单个机器上运行,也可以在远程网络上运行. 有关完整详细信息,请参阅分布式文档 . 要创建集群,首先启动调 ...
Airflow 中文文档：用Celery扩大规模
CeleryExecutor是您扩展工人数量的方法之一. 为此,您需要设置Celery后端( RabbitMQ , Redis ,-)并更改airflow.cfg以将执行程序参数指向CeleryExe ...
尚硅谷k8s安装文档_Kubernetes（k8s）中文文档从零开始k8s_Kubernetes中文社区
译者:王乐这部文档是面对想要学习Kubernetes集群的读者.如果你对入门指南已经可以满足你对这个列表上所列的需求,我们建议你继续阅读这个,因为他是根据前人积累经验所写的新手指南.当然如果除了学习 ...
Airflow 中文文档：API 参考
运营商运算符允许生成某些类型的任务,这些任务在实例化时成为DAG中的节点. 所有运算符都派生自BaseOperator ,并以这种方式继承许多属性和方法. 有关更多详细信息,请参阅BaseOpera ...
Airflow 中文文档：常见问题
为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多. 以下是一些常见原因: 您的脚本是否"编译",Airflow引擎是否可以解析它并找到您的DAG对象. 要对此进行测试, ...
Airflow 中文文档：时区
默认情况下启用对时区的支持. Airflow在内部和数据库中以UTC格式存储日期时间信息. 它允许您使用时区相关的计划运行DAG. 目前,Airflow不会将其转换为用户界面中的最终用户时区. 它始终 ...

Airflow 中文文档：使用Mesos扩展（社区贡献）

任务直接在mesos从站上执行

Airflow 中文文档：使用Mesos扩展（社区贡献）相关推荐

最新文章

热门文章