放弃redis使用mongodb做任务队列支持增删改管理

使用mongodb做任务队列管理支持增删改，我是喜欢用redis的list做队列的，但是这边经常堆积任务，需要查看并删除清空队列，有可能会根据一些content的字段来进行删除，有可能是会针对发件人，或者是时间段来删除。这样redis真的不太适合了，因为redis的队列只能是一个值，当时咱们也可以只是存一个任务id，然后放到redis hash来做，处理的时候，无逻辑，但是查询修改的时候，会发信，逻辑有些复杂，算了，直接用mongodb做吧。其实选择mongodb做队列的原因很简单，性能可以，在这种场景下查询起来不比mysql差。

import pymongo
import time
connection=pymongo.Connection('localhost',27017)
#库
db = connection.test
#表
posts=db.test
ltime=time.time()
posts.insert({'good':1,'jid':ltime})
posts.find({'jid':ltime})

后端的进程，一直取数据。

posts.find({'jid':ltime}).sort('ltime',pymongo.DESCENDING)

取到任务后，扔给后面的进程来出来。

posts.remove({'jid':ltime})

当然仅此这样肯定是不行的，在任务并发的时候，你还来不及删除的时候，这个任务已经又被别人搞去了。这个时候怎么办？怎么解决控制原子问题。

第一个方法是文件锁的方式，findAndModify 这个函数，查询的时候，删除可以remove或者是update

第二个方法是mq派发的模式，拿出一个后端进程专门取数据，然后派发给别的线程。就这么简单。

下面是我用mongo做队列的效果，仅供参考。。。。

放弃redis使用mongodb做任务队列支持增删改管理相关推荐

如何基于Restful ABAP Programming模型开发并部署一个支持增删改查的Fiori应用
Jerry之前的文章30分钟用Restful ABAP Programming模型开发一个支持增删改查的Fiori应用发布之后,有朋友问我,"没错, 我是在你的文章里看到了Fiori应用的 ...
30分钟用Restful ABAP Programming模型开发一个支持增删改查的Fiori应用
2016年时,Jerry曾经写过一系列关于SAP Fiori Smart Template(现在更名为Fiori Elements了)的博客,介绍了所谓的MDD开发方法论 - Metadata Dri ...
【学习笔记】mongoDB初步（一）MongoDB的安装和增删改查基本语法，使用和命令
MongoDB适合储存大量关联性不强的数据. MongoDB中的数据以"库"-"集合"-"文档"-"字段"结构进行储存 ...
MongoDB 文档字段增删改
MongoDB 基于CRUD(create,read,update,delete)方式实现了对集合上的文档进行增删改查.对于集合上字段的增删改,可以使用set或者unset修改器来实现.也可以使用文档 ...
MongoDB简介及常用增删改查命令
MongoDB 简介 NoSQL 的概念:指的是非关系型数据库. NOT only sql 的缩写.特别适用于大规模的数据存储.例如:谷歌或者facebook 每天为用户收集亿万级别的数据,这些数据 ...
java mongodb 增删改查_java操作mongodb：基本的增删改查
java操作mongodb的代码,包含基本的增删改查操作获取数据库连接工具类 package com.liuc.db;import java.net.UnknownHostException;imp ...
mongodb学习笔记之增删改查作指令
1: mongo入门命令 1.1: show dbs 查看当前的数据库 1.2 use databaseName 选库 1.2 show tables/collections 查看当前库下的coll ...
php加数据库开发案例,PHP简单数据库操作类实例【支持增删改查及链式操作】
本文实例讲述了PHP简单数据库操作类.分享给大家供大家参考,具体如下: 在进行项目开发时,数据库是必不可少的东西了.但是很多时候却又对数据库SQL语句的繁杂而感到头疼.提供一个我自己使用的数据库操作类 ...
利用Servlet做一套增删改查
真的,稳住,考上研,利用两年逆袭.一步一步来,实在不行,最后最差也不过就是就回家种地,想想也不错. 前期准备配置建一个动态web项目新建Dynamic Web Project File->N ...

放弃redis使用mongodb做任务队列支持增删改管理

放弃redis使用mongodb做任务队列支持增删改管理相关推荐

最新文章

热门文章