怎么让python一直执行_怎么才能让Python多进程不间断执行任务

任务列表储存在mongoDB中大概三百万条

每个任务执行结束会标记上

现在有个问题

每次脚本开始时读取100任务

用python多进程执行任务时必须等待所有进程执行结束才能重新读取下一个100条

有没有什么办法让结束的进程不间断去领取新的任务？

创建进程的片段

#!/usr/bin/python

# coding=utf-8

from urllib2 import Request, urlopen, URLError, HTTPError

from multiprocessing import Pool

import os

import sys

task_list = [] # 任务列表

def start_run(i, task_list):

print "进程"+str(i)+"开始"

# 处理task_list任务列表

print "进程"+str(i)+"结束"

if __name__ == '__main__':

print 'Parent process %s.' % os.getpid()

p = Pool(number_of_processes)

for i in xrange(number_of_tasks):

i += 1 # 从1开始

p.apply_async(start_run, args=(i,task_list))

p.close()

p.join()

print 'All subprocesses done.'

拜谢

使用Queue作为数据管道, 在run函数中读取并处理数据;

可以考虑进程不关闭，在进程中读取、处理数据，做循环。

使用celery消息队列

怎么让python一直执行_怎么才能让Python多进程不间断执行任务相关推荐

python编程基础_月隐学python第2课
python编程基础_月隐学python第2课学习目标掌握变量的输入和输出掌握数据类型的基本概念掌握算数运算 1.变量的输入和输出 1.1 变量输入使用input输入 input用于输入数据 ...
查看Python的版本_查看当前安装Python的版本
一.查看Python的版本_查看当前安装Python的版本具体方法: 首先按[win+r]组合键打开运行: 然后输入cmd,点击[确定]: 最后执行[python --version]命令即可. 特 ...
六星教育python怎么样_怎么样才能学好Python？六星教育把最简单的方法告诉你
原标题:怎么样才能学好Python?六星教育把最简单的方法告诉你现在python这门课程,在国内的部分学校已经进行了一定的课程学习.随着互联网发展,企业对python人才的需求达到一定的程度,同时P ...
python新手难点_初学两天python的操作难点总结
已经学习两天python,将我认为的操作难点进行总结 1 在cmd下盘与盘之间的切换直接 D或d: 就好 2 查找当前盘或者文件下面的目录直接 dir 3 想在一个盘下进去一个文件夹,用cd空格 ...
python 运算符重载_零基础小白Python入门必看：面向对象之典型魔术方法
魔术方法查看类的魔术方法 class A: passdir(A) # 可以得到类所有公有成员复制代码输出结果如下 ['__class__', '__delattr__', '__dict__', ...
python创建线程_多种方法实现 python 线程池
最近在做一个爬虫相关的项目,单线程的整站爬虫,耗时真的不是一般的巨大,运行一次也是心累,,,所以,要想实现整站爬虫,多线程是不可避免的,那么python多线程又应该怎样实现呢?这里主要要几个问题(关于 ...
python asyncio理解_我实在不懂Python的Asyncio
这是Flask,Sentry的作者Armin Ronacher的一篇博客,这篇文章的影响很大,后来asyncio的文档重写就是受这篇文章影响.这篇文章写于2016.10.30.而Asyncio的一个重 ...
python opencv手册_教你用Python实现5毛钱特效（给你的视频来点料）
一.前言请务必看到最后.Python牛已经不是一天两天的事了,但是我开始也没想到,Python能这么牛.前段时间接触了一个批量抠图的模型库,而后在一些视频中找到灵感,觉得应该可以通过抠图的方式,给视 ...
python gis库_使用开放的python库自动化GIS和遥感工作流
python gis库 Over my career I've worked on many geospatial related projects using the ArcGIS platform ...

怎么让python一直执行_怎么才能让Python多进程不间断执行任务

怎么让python一直执行_怎么才能让Python多进程不间断执行任务相关推荐

最新文章

热门文章