目录
- 不使用数据库作为 Broker
- 不要过分关注任务结果
- 实现优先级任务
- 应用 Worker 并发池的动态扩展
- 应用任务预取数
- 保持任务的幂等性
- 应用任务超时限制
- 善用任务工作流
- 合理应用 ack_late 机制
- 传递 ORM 对象的唯一标识
- 预防内存泄漏
- 合理安排定时任务的调度计划
- 启用任务监控

不使用数据库作为 Broker

Broker 的选择大致有消息队列和数据库两种，**这里建议尽量避免使用数据库作为 Broker，除非你的业务系统足够简单。**在并发量很高的复杂系统中，大量 Workers 访问数据库的行为会使得操作系统磁盘 I/O 一直处于高峰值状态，非常影响系统性能。如果数据库 Broker 同时还兼顾着后端业务的话，那么应用程序也很容易被拖垮。

反观选择消息队列，例如 RabbitMQ，就不存在以上的问题。首先 RabbitMQ

分布式任务队列 Celery — 实践相关推荐

分布式任务队列 Celery — 深入 Task
目录文章目录目录前文列表前言 Task 的实例化任务的名字任务的绑定任务的重试任务的请求上下文任务的继承前文列表分布式任务队列 Celery 分布式任务队列 Celery -- ...
分布式任务队列 Celery — 应用基础
目录文章目录目录前文列表前言 Celery 的周期(定时)任务 Celery 的同步调用 Celery 结果储存 Celery 的监控 Celery 的调试前文列表分布式任务队列 Cele ...
分布式任务队列 Celery — 详解工作流
目录文章目录目录前文列表前言任务签名 signature 偏函数回调函数 Celery 工作流 group 任务组 chain 任务链 chord 复合任务 chunks 任务块 map/ ...
分布式任务队列 Celery — Overview
#目录文章目录前言简介 Celery 的应用场景架构组成 Celery 应用基础前言分布式任务队列 Celery,Python 开发者必备技能,结合之前的 RabbitMQ 系列,深入梳理 ...
54 分布式任务队列Celery
随着信息时代的持续发展,越来越复杂的业务需求对自动化运维的要求上了一个新的台阶,任务调度系统也由单一主机任务调度系统向分布式任务调度系统过度.无论是业务层面的作业调度还是运维本身的作业调度需求,分布式 ...
[源码解析] 并行分布式任务队列 Celery 之多进程架构和模型
[源码解析] 并行分布式任务队列 Celery 之多进程架构和模型文章目录 [源码解析] 并行分布式任务队列 Celery 之多进程架构和模型 0x00 摘要 0x01 Consumer 组件 ...
分布式任务队列--Celery的学习笔记
一.Celery简介 Celery是一个简单,灵活,可靠的分布式系统,用于处理大量消息,同时为操作提供维护此类系统所需的工具.它是一个任务队列,专注于实时处理,同时还支持任务调度. 所谓任务队列,是一 ...
Celery 分布式任务队列快速入门
Celery 分布式任务队列快速入门本节内容 Celery介绍和基本使用在项目中如何使用celery 启用多个workers Celery 定时任务与django结合通过django配置cel ...
python任务队列 http_基于Python开发的分布式任务队列：Celery
Celery (芹菜)是基于Python开发的分布式任务队列.它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度. 架构设计. Celery的架构由三部分组成,消息中间件(message ...

分布式任务队列 Celery — 实践

目录

文章目录

不使用数据库作为 Broker

分布式任务队列 Celery — 实践相关推荐

最新文章

热门文章