问题描述

使用Airflow作为工作流引擎，目前面临一个问题，因为dag数的激增，导致airflow的页面无法打开，非常非常的慢，通过后台看airflow的gunicorn负载非常的高。尝试调整配置，无论是开4个worker还是8个worker都非常的高。无法解决页面卡死的情况，需要亟待解决airflow的webserver的负载问题，如何能够使他轻量化。

按照官方文档的建议，设置store_serialized_dags = True，可以使得webserver不需要轮训dags目录下的file文件，而是从DB持久化中读取，大大提高airflow中webserver的性能

# Whether to serialise DAGs and persist them in DB.
# If set to True, Webserver reads from DB instead of parsing DAG files
# More details: https://airflow.apache.org/docs/stable/dag-serialization.html
store_serialized_dags = True
compress_serialized_dags = False

按照官方文档建议修改过后，webserver的负载确实降低了，但是新问题来了。airflow页面里的任何一个dag都无法正常的进去，以及查看webserver的flask访问日志，看到查看dag详情的时候都会报错
ValueError: DAG ‘xxxx’ not found in serialized_dag table

根据官方文档对store_serialized_dags配置的解释，猜测应该是无法将这些dag入库持久化。
根据这快源码来推测self._add_dag_from_db(dag_id=dag_id)
dag insert db应该是scheduler的工作，那么去看看scheduler的日志

schueduler的日志如下报错，它对所有的dag解析都报错
UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe3 in position 449: ordinal not in range(128)

解决方案：

通过看codecs.ascii_decode(input, self.errors)[0]代码，往上推，结合网上对错误的解释，觉得应该是scheduler解析dag时候遇到了中文，所以无法进行serializer操作，最终无法入库

File "/usr/local/lib/python3.6/site-packages/airflow/models/dagcode.py", line 189, in _get_code_from_filecode = f.read()File "/usr/lib64/python3.6/encodings/ascii.py", line 26, in decodereturn codecs.ascii_decode(input, self.errors)[0]

通过看code = f.read()对应的open_maybe_zipped源码，可以知道这里读取文件之后返回，那么在读文件这里强制设置编码格式

def open_maybe_zipped(fileloc, mode='r'):"""Opens the given file. If the path contains a folder with a .zip suffix, thenthe folder is treated as a zip archive, opening the file inside the archive.:return: a file object, as in `open`, or as in `ZipFile.open`."""_, archive, filename = ZIP_REGEX.search(fileloc).groups()if archive and zipfile.is_zipfile(archive):return zipfile.ZipFile(archive, mode=mode).open(filename)else:return io.open(fileloc, mode=mode)

将如上最后一行代码o.open(fileloc, mode=mode)改为io.open(fileloc, mode=mode, encoding=‘utf-8’)

def open_maybe_zipped(fileloc, mode='r'):"""Opens the given file. If the path contains a folder with a .zip suffix, thenthe folder is treated as a zip archive, opening the file inside the archive.:return: a file object, as in `open`, or as in `ZipFile.open`."""_, archive, filename = ZIP_REGEX.search(fileloc).groups()if archive and zipfile.is_zipfile(archive):return zipfile.ZipFile(archive, mode=mode).open(filename)else:return io.open(fileloc, mode=mode, encoding='utf-8')

重启webserver和scheduler，一切解析，调度均正常。
而且webserver的负载降低了，可以很快的浏览任意内容，不会受到dag数的增多而影响airflow的web效率

工作流Airflow的性能优化，应对dag数目的激增相关推荐

Unity高级知识点总结：性能优化与图形渲染进阶！
A.性能优化相关知识一.综合优化 1.降低屏幕分辨率尤其是在android平台对性能提升很大.可以有效缓解gpu的压力. 我们在android上分辨率是实际的0.85左右. 2.做好资源异步加载,实 ...
Java性能优化最易操作的10大技巧！
编辑 | ShirleyZ 译文 | 班纳睿 .一叶障目 .learner 原文 | https://coyee.com/article/11753-top-10-easy-performance- ...
转载：SqlServer数据库性能优化详解
本文转载自:http://blog.csdn.net/andylaudotnet/article/details/1763573 性能调节的目的是通过将网络流通.磁盘 I/O 和 CPU 时间减到最小 ...
【转】U3D手游《苍穹变》性能优化经验谈
4月11日,由unity公司举办的Unite 2016大会在上海正式举行,在4月12日的案例分享专场会议上,天神互动U3D高级开发工程师康凯以手游<苍穹变>为例讲述了3DMMOARPG游戏 ...
Web性能优化与Http2
如今,互联网上的内容越来越丰富,过去几年时间,一个页面产生请求和整个大小都一直增长,这个趋势还会一直保持,对页面性能优化也要马不停蹄. 一个页面,会经历过加载资源,执行脚本,渲染界面的过程.我们知道, ...
并行算法设计与性能优化_CME 323: 分布式算法与优化(1)
这门课程是由斯坦福大学在今年 4 月份推出的线上课程,主讲人是 Reza Zadeh ,总体来说主讲人讲解比较幽默,内容也是容易让人听得下去,不是那么晦涩难懂.课程内容分为两个部分:并行计算(para ...
数据仓库的 RDBMS 性能优化指南
转:http://www.microsoft.com/china/technet/prodtechnol/sql/2000/maintain/c2061.asp 数据仓库的 RDBMS 性能优化指南 ...
走近伏羲，谈5000节点集群调度与性能优化
原文链接:http://click.aliyun.com/m/13935/ 5K项目是飞天平台的里程碑,系统在规模.性能和容错方面都得到了飞跃式的发展,达到世界领先水平.伏羲作为飞天平台的分布式调度系 ...
Android性能优化之APK瘦身最全总结
Android性能优化之APK瘦身最全总结随着业务复杂度的逐渐增加,代码.资源也在不断的增加,此时你的APP大小也在增加.从用户层面来说,面对动辄几十兆的APP来说在非WIFI情况下还是会犹豫要不要 ...

工作流Airflow的性能优化，应对dag数目的激增

问题描述

解决方案：

工作流Airflow的性能优化，应对dag数目的激增相关推荐

最新文章

热门文章