celery cluser redis_Celery配置Redis Sentinel做高可用

关于Celery的基本知识很早就提过了，这里讲讲在使用redis做broker时如何做到redis的高可用。

一共有三种预选方案，第一种是使用redis cluster+haproxy+keepalived，一种方式使用redis sentinel，还有一种是使用codis这类redis proxy。

我使用第一种方式搭建起来了一个高可用redis集群，它实现了接口透明，但是redis cluster只有一个db 0，没有其他db可用。并且使用这种方法，结合到celery上去，celery worker都未启起来。后来又翻了一下celery在github上的issue，感觉celery的作者并没打算去支持它，也可能是我能力不足，没找到相关的资料。所以我放弃这种方法了。如果有别的应用场景需要做redis的高可用，可以参考这种方案。可以阅读这篇文章和这篇文章以自己实践。

第三种方案的困难在于，我感觉codis的文档很少，搭建起来很费力，所以没有深入研究它，或许以后有时间，还是会去尝试的，多学一些以开拓视野。

第二种方案是本文要详细介绍的。在celery4.0以后，celery官方实现了对redis sentinel的支持。

首先，第一步便是搭建redis sentinel。我在以前的博文中写过如何搭建，这里就不再啰嗦了。

然后，我们需要在项目的初始化 Celery APP之后，使用

app.conf.broker_url = 'sentinel://localhost:26379;sentinel://localhost:26380'

app.conf.broker_transport_options = { 'master_name': "cluster1" }

来设置sentinel相关的信息。除了这种方式，我们也可以在初始化celery app的时候直接指定broker_url。

这里需要注意一点，这种方式不能指定backend，否则celery worker也无法启起来，也可能是我指定backend的方式不对吧，这一点还需要进一步确认。

经过这两步之后，关于celery+redis sentinel的配置就说完了。

经过两天的努力，总算是解决了celery redis broker的高可用问题，不过在这过程中，还有一些问题需要去复现和解决，比如celery 和redis cluster的问题，还有redis sentinel一直选举leader的问题。

celery cluser redis_Celery配置Redis Sentinel做高可用相关推荐

celery cluser redis_celery结合redis 使用
Java中写文件操作 OutputStream 和 Writer OutputStream类(直接操作byte数组) 该类是字节输出流的抽象类,定义了输出流的各种操作方法.如下图是OutputStre ...
Redis基础与高可用集群架构进阶详解
一.NoSQL简介 1.问题引入每年到了过年期间,大家都会自觉自发的组织一场活动,叫做春运!以前我们买票都是到火车站排队,后来呢,有了 12306,有了它以后就更方便了,我们可以在网上买票,但是带来 ...
基于keepalived对redis做高可用配置---转载
关于keepalived的详细介绍,请移步本人相关博客:http://wangfeng7399.blog.51cto.com/3518031/1405785 功能 ip地址安装软件主redis 1 ...
使用Docker Compose部署基于Sentinel的高可用Redis集群
大家一定非常熟悉如何利用Docker启动单个Redis容器用于开发环境,本文将介绍如何利用Docker Compose模板在本机和云端部署基于Sentinel的高可用Redis 3集群. Redis集 ...
Redis主从配置及通过Keepalived实现Redis自动切换高可用
Redis主从配置及通过Keepalived实现Redis自动切换高可用 [日期:2014-07-23] 来源:Linux社区作者:fuquanjun [字体:大中小] 一:环境介绍: Mas ...
Redis 如何使用 Twemproxy 和 Sentinel 构建高可用集群架构？
文章目录 Redis 如何使用 Twemproxy 和 Sentinel 构建高可用集群架构? 配置环境构建 RedisSharding1 安装 Redis 配置 RedisSharding1 构建 ...
Redis复制的高可用详解
一.sentinel基础在Redis的主从复制中有一个问题很明显,比如说在一主三从的架构下,如果主节点宕机,那么所有的写操作也就不能执行了,这个主从复制架构也就瘫痪了,所以Redis引入了senti ...
php redis 投票_高可用Redis服务架构分析与搭建
HorstXuhttps://www.cnblogs.com/xuning/p/8464625.html 基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了,我们经 ...
redis系列之——高可用（主从、哨兵、集群）
Redis系列目录 redis系列之--分布式锁 redis系列之--缓存穿透.缓存击穿.缓存雪崩 redis系列之--Redis为什么这么快? redis系列之--数据持久化(RDB和AOF) re ...
视频教程- 19年录制Redis实战教程高可用秒杀分布式锁布隆过滤器实战 SpringBoot教程整合-Java
19年录制Redis实战教程高可用秒杀分布式锁布隆过滤器实战 SpringBoot教程整合 7年的开发架构经验,曾就职于国内一线互联网公司,开发工程师,现在是某创业公司技术负责人, 擅长语言有nod ...

celery cluser redis_Celery配置Redis Sentinel做高可用

celery cluser redis_Celery配置Redis Sentinel做高可用相关推荐

最新文章

热门文章