python multiprocessing dummy Pool 使用

本文内容：

python multiprocessing.dummy Pool多线程、进程任务队列使用
http压力测试简单示例

工作中有个常用的场景，比如现在需要下载10W张图片，我们不可能写个for循环一张一张的下载吧，又或者是我们做个简单的HTTP压力测试肯定是要使用多个，进程或者线程去做（每个请求handler，会有一个参数（所有的参数生成一个队列））然后把handler和队列map到Pool里面。肯定要用多线程或者是多进程，然后把这100W的队列丢给线程池或者进程池去处理在python中multiprocessing Pool进程池，以及multiprocessing.dummy非常好用，一般：

from multiprocessing import Pool as ProcessPool
from multiprocessing.dummy import Pool as ThreadPool

前者是多个进程，后者使用的是线程，之所以dummy（中文意思“假的”）
下面给出一个简单的http压力测试示例：

# _*_ coding:utf-8 _*_"""
This file a sample demo to do http stress test
"""
import requests
import time
from multiprocessing.dummy import Pool as ThreadPool
import urllibdef get_ret_from_http(url):"""cited from https://stackoverflow.com/questions/645312/what-is-the-quickest-way-to-http-get-in-python"""ret = requests.get(url)print ret.content# eg. result: {"error":false,"resultMap":{"check_ret":1},"success":true}def multi_process_stress_test():"""start up 4 thread to issue 1000 http requests to serverand test consume time:return:"""start = time.time()# 实际中url带参数的一般使用下面的make_url函数生成，这里示例就不用（前面写的现在懒得改了）url = """http://127.0.0.1:9325/shortvideo/checkBlack?url=http%3A%2F%2Fzbasecapture.bs2.yy.com%2F42269159_1499248536403_3.jpg&serial=abcdddddddd"""# generate task queue listlst_url = [url, url1]*50# use 5 threadspool = ThreadPool(5)# task and handles to poolret = pool.map(get_ret_from_http, lst_url)pool.close()pool.join()print 'time consume %s' % (time.time() - start)def make_url():"""generate url with parameterhttps://xy.com/index.php?url=http%3A//xy.xxx.com/22.jpg&SecretId=xy_123_movecited from https://stackoverflow.com/questions/2506379/add-params-to-given-url-in-pythonhttps://github.com/gruns/furl a good util for url operator:return:"""para = {"SecretId": "xy_123_move", "url": "http://xy.xxx.com/22.jpg"}print urllib.urlencode(para)#url=http%3A%2F%2Fxy.xxx.com%2F22.jpg&SecretId=xy_123_movebase_url = 'xy.com/index.php'return 'https://%s?%s' % (base_url, '&'.join('%s=%s' % (k, urllib.quote(str(v))) for k, v in para.iteritems()))if __name__ == '__main__':# get_ret_from_http()multi_process_stress_test()# print make_url()pass

下面在给出另一个简单的示例，handler函数每次睡眠随机的秒数（根据指定的参数），我们可以选择使用进程或者是线程来完成队列中所有的任务（一般CPU密集型的选择用多进程，IO密集型的可以选择多线程）

# _*_ coding:utf-8 _*_
"""
This file is about thread(dummy)/process pool
"""
from multiprocessing import Pool as ProcessPool
from multiprocessing.dummy import Pool as ThreadPool
import logging
from time import sleep, time
from random import randrangelogging.basicConfig(level=logging.DEBUG,format='%(levelname)s %(asctime)s %(processName)s %(message)s',datefmt='%Y-%m-%d %I:%M:%S')def handler(sec):logging.debug('now I will sleep %s S', sec)sleep(sec)def get_pool(b_dummy=True, num=4):"""if b_dummy is True then get ThreadPool, or get process pool:param b_dummy: dummy thread Pool or Process pool:param num: thread or process num:return: pool object"""if b_dummy:pool = ThreadPool(num)else:pool = ProcessPool(num)return pooldef test_dummy_thread_pool():start_time = time()# generate task queue parameters listslst_sleep_sec = [randrange(3, 10) for i in xrange(10)]pool = get_pool(b_dummy=False)results = pool.map(handler, lst_sleep_sec)logging.debug(results)pool.close()pool.join()logging.debug('time consume %s', time() - start_time)passif __name__ == '__main__':test_dummy_thread_pool()pass

工作中使用的语言比较多写过C++，java, 部分html+js, python的.由于用到语言的间歇性，比如还几个月没有使用python了许多技巧就忘记了，于是我把一些常用的python代码分类项目在本人的github中，当实际中用到某一方法的时候就把常用的方法放到一个文件中方便查询。

python multiprocessing dummy Pool 使用相关推荐

python进程池multiprocessing.Pool和线程池multiprocessing.dummy.Pool实例
本文简单介绍python进程模块multiprocessing提供的进程池和线程池功能. 进程池: 进程池的使用有四种方式:apply_async.apply.map_async.map.其中appl ...
python文字处理dummy_python中multiprocessing、multiprocessing.dummy和threading用法笔记
一.multiprocessing 用法参考地址:multiprocessing用法首先解释一个误区: 进程池的大小是每次同时执行的进程数,但是并不会影响主进程申请进程的数量.主进程申请多进程量不等 ...
multiprocessing.dummy python使用笔记
multiprocessing.dummy python 笔记代码 pool.map pool.imap pool.imap_unordered 代码 pool.map 不管chunksize多大, ...
python多路分支_用于多个参数的python multiprocessing pool.map
在python多处理库中,是否有pool.map的变体支持多个参数? text ="test" def harvester(text, case): X = case[0] tex ...
【python】详解multiprocessing多进程-Pool进程池模块（二）
[python]详解multiprocessing多进程-process模块(一) [python]详解multiprocessing多进程-Pool进程池模块(二) [python]详解multip ...
python Multiprocessing Pool 应用
1.pool创建多个进程 from multiprocessing import Pool import time def test(p):print(p)time.sleep(3) if __nam ...
python multiprocessing模块
python multiprocessing模块原文地址 multiprocessing multiprocessing支持子进程.通信和共享数据.执行不同形式的同步,提供了Process.Queu ...
python multiprocessing — 基于进程的并行
概述 multiprocessing 是一个用与 threading 模块相似API的支持产生进程的包. multiprocessing 包同时提供本地和远程并发,使用子进程代替线程,有效避免 Glo ...
[转]浅谈 python multiprocessing（多进程）下如何共享变量
2019独角兽企业重金招聘Python工程师标准>>> 1.问题: 群中有同学贴了如下一段代码,问为何 list 最后打印的是空值? from multiprocessing imp ...
python 进程池pool使用详解
和选用线程池来关系多线程类似,当程序中设置到多进程编程时,Python 提供了更好的管理多个进程的方式,就是使用进程池. 在利用 Python 进行系统管理的时候,特别是同时操作多个文件目录,或者远程 ...

python multiprocessing dummy Pool 使用

python multiprocessing dummy Pool 使用相关推荐

最新文章

热门文章