Airflow 中文文档:写日志
在本地编写日志
用户可以使用base_log_folder
设置在airflow.cfg
指定日志文件夹。 默认情况下,它位于AIRFLOW_HOME
目录中。
此外,用户可以提供远程位置,以便在云存储中存储日志和日志备份。
在Airflow Web UI中,本地日志优先于远程日志。 如果找不到或访问本地日志,将显示远程日志。 请注意,只有在任务完成(包括失败)后才会将日志发送到远程存储。 换句话说,运行任务的远程日志不可用。 日志作为{dag_id}/{task_id}/{execution_date}/{try_number}.log
存储在日志文件夹中。
将日志写入Amazon S3
在你开始之前
远程日志记录使用现有的Airflow连接来读取/写入日志。 如果没有正确设置连接,则会失败。
启用远程日志记录
要启用此功能,必须按照此示例配置airflow.cfg
:
阅读全文/改进本文
Airflow 中文文档:写日志相关推荐
- Airflow 中文文档:概念
Airflow Platform是用于描述,执行和监控工作流的工具. 核心理念 DAG的 在Airflow中, DAG (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组 ...
- Airflow 中文文档:数据分析
使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据. Airflow提供了一个简单的查询界面来编写SQL并快速获得结果,以及一个图表应用程序,可以让您可视化数据. 临时查询 adhoc查询 ...
- Airflow 中文文档:API 参考
运营商 运算符允许生成某些类型的任务,这些任务在实例化时成为DAG中的节点. 所有运算符都派生自BaseOperator ,并以这种方式继承许多属性和方法. 有关更多详细信息,请参阅BaseOpera ...
- Airflow 中文文档:常见问题
为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多. 以下是一些常见原因: 您的脚本是否"编译",Airflow引擎是否可以解析它并找到您的DAG对象. 要对此进行测试, ...
- Airflow 中文文档:时区
默认情况下启用对时区的支持. Airflow在内部和数据库中以UTC格式存储日期时间信息. 它允许您使用时区相关的计划运行DAG. 目前,Airflow不会将其转换为用户界面中的最终用户时区. 它始终 ...
- Airflow 中文文档:插件
Airflow内置了一个简单的插件管理器,可以通过简单地删除$AIRFLOW_HOME/plugins文件夹中的文件,将外部功能集成到其核心. plugins文件夹中的python模块将被导入, 钩子 ...
- Airflow 中文文档:用Dask扩展
DaskExecutor允许您在Dask分布式群集中运行Airflow任务. Dask集群可以在单个机器上运行,也可以在远程网络上运行. 有关完整详细信息,请参阅分布式文档 . 要创建集群,首先启动调 ...
- Airflow 中文文档:用Celery扩大规模
CeleryExecutor是您扩展工人数量的方法之一. 为此,您需要设置Celery后端( RabbitMQ , Redis ,-)并更改airflow.cfg以将执行程序参数指向CeleryExe ...
- Airflow 中文文档:管理连接
Airflow需要知道如何连接到您的环境. 其他系统和服务的主机名,端口,登录名和密码等信息在UI的Admin->Connection部分中处理. 您将创作的管道代码将引用Connection对 ...
最新文章
- Visual Studio服务器控件被警告问题
- 用google mock模拟C++对象
- linux c之((void *) - 1)是啥意思
- linux上ftp和lftp冲突,Linux FTP客户端 Lftp 使用方法,该如何解决
- stm32单片机OLED取字模软件使用 PCtoLCD2002
- 【2017-04-16】抽象类、接口、构造函数、重载和重写的区别、静态成员和方法
- c++ 使用nacos_使用SpringBoot和Seata实现Dubbo分布式事务管理
- 关于安装office软件时和visio软件冲突
- 心理测评全系统设计与代码实现
- C#打造一个开源webgis(四)地图客户端(上)
- 计算机网络总线型结构优,总线型拓扑结构优缺点是什么
- 仅以此篇纪念负数取模
- JSP智能小区物业管理系统
- python-字典练习3 -数字重复统计
- 打算自学一些编程,想兼职程序员打零工,想问问现在哪个程序员兼职平台单子简单,不考察接单人学历?
- 【Python】常用模块安装命令
- 计算机辅助电路小结,电子电路计算机辅助设计实训报告.doc
- 有赞大裁员,竟把人员优化写进 OKR
- CentOS 7 的安装步骤
- 思科模拟器入门基础-交换机Telnet远程登录
热门文章
- (94)Verilog HDL系统函数和任务:$ferror
- debian uefi legacy 区别_电脑硬盘格式有Legacy与UEFI,选择哪一个好?千万别选错了!...
- boost::asio
- 给单文档框架添加背景图
- 【电路】简易的桥式整流电路---选取滤波电容
- java中后退键_java - 单击后退按钮两次以退出活动
- 内核网络输出帧的处理
- java发送http post请求报文_Java 用HTTP的方式发送JSON报文请求
- 【JUC】第四章 JUC 辅助类、读写锁
- 【JAVA SE】第十四章 集合框架、语法糖和泛型