python多进程反而慢_python 3.6 多进程的坑

python 慢是事实，但是你如果想让他快，使用cpython 也可以，但是前提在你不使用第三方包的情况下，你要用了numpy pandas ，cython 就无法使用了，那只有使用python的多线程多进程协程来解决

都知道 python 有 GIL全局锁，所以多线程是鸡肋，只有多进程才可以利用上多核cpu ，当你启动你的程序打开 htop 看到多个核都跑满了飚绿色 100% 了就是成功用上了python的多进程，线程是进程的子集，协程是介于线程和进程的

在使用python的多进程有很多坑，使用多进程如果不用异步就是阻塞了，如果代码写的不同，就又阻塞了。

创建进程池 Pool，然后使用 apply_sync()方法实现异步

注意了 apply_sync()里的参数书写非常有讲究，不然就错了，就滑出去了，不执行，要么就是阻塞执行，

apply_sync(func= ,args=(,)), func 就是你要调用的方法，args就是放你调用方法的参数列表，实参， [func=]这五个字符不可以省略，生了，就不执行了，【args=】这五个字符也不可以省略，而且 args= 后跟的小括号里末尾必须跟一个逗号【，】否则还是阻塞执行，

如果你被调用的方法有返回值，必须使用 for 推导迭代式获取每个方法的 result.get()，不然就又变阻塞了，阻塞的一个表现就是只能使用跑满一个cpu 核核量，其他核就一直闲置，

import multiprocessing

from multiprocessing import Pool,cpu_count

from multiprocessing import Queue

from multiprocessing import Lock

from multiprocessing import Pipe

import logging

import numpy as np

import pandas as pd

multiprocessing.freeze_support()

pool=Pool(processes=self.cpus)

sub_dir_list=[]

logger.info("parrel_iter_image")

for sub_dir in range(0,10):

sub_root = self.image_root_dir + str(sub_dir) + '/'

sub_dir_list.append(sub_root)

logger.info(len(sub_dir_list))

result=[res.get() for res in [ pool.apply_async(func=self.iter_image,args=(sub_dir,)) for sub_dir in sub_dir_list]]

self.real_face= result

results = [res.get() for res in

[propool.apply_async(func=self._sub_df_etl, args=(df, field, out_field, use_stopword,)) for

index, df in enumerate(df_list)]]

python多进程反而慢_python 3.6 多进程的坑相关推荐

python多线程和多进程的使用_python多线程与多进程
python多线程与多进程 python多线程 python中提供两个标准库thread和threading用于对线程的支持,python3中已放弃对前者的支持,后者是一种更高层次封装的线程库,接下来 ...
python 多进程并发阻塞_python并发编程多进程(一)
一什么是进程进程:正在进行的一个过程或者说一个任务.而负责执行任务则是cpu. 举例(单核+多道,实现多个进程的并发执行): 爱根儿老师在一个时间段内有很多任务要做:python备课的任务,写书的 ...
python中remove用法_python中remove的一些坑
前几天,使用python时遇到这么一个需求,删除一个列表中值为1的元素.我寻思着使用remove方法,但是remove方法只会删除第一个,于是我使用for循环去删除.代码和运行结果如下: 当时这个结果 ...
python selenium安装失败_python:学习selenium遇到的坑
最近在学习python,在使用selenium做自动化时候遇上各种坑,有很多是自己不小心弄出来的,下面记录下自己学习中遇上的坑: 用pip安装selenium时候一直报错,提示没有权限,即使我用了su ...
python函数修饰参数_Python 函数参数的填坑之路
背景最近在看廖雪峰老师的python3教程之函数的参数受益匪浅,但是在实践的过程中,发现了一些不解之谜两个错误import _thread import time def func1(x): w ...
python中的多线程求值串行和并行_python多线程和多进程——python并行编程实验
工作中经常涉及到加速程序的运行,除了代码逻辑的优化,算法的优化之外,还经常使用的一招就是并发编程.至于python的并型编程这一块.说到并行编程,我们不得不谈线程和进程这两个概念: + 进程:对于操作 ...
python 多进程绑定端口_Python教程之创建多进程
点上面"东哥IT笔记",关注并星标每天一篇业界最新技术分享现在很多CPU都支持多核,甚至是手机都已经开始支持多核了.而Python的GIL(Global Interpreter ...
python多线程效率低_Python 多进程、多线程效率比较
Python 界有条不成文的准则: 计算密集型任务适合多进程,IO 密集型任务适合多线程.本篇来作个比较. 通常来说多线程相对于多进程有优势,因为创建一个进程开销比较大,然而因为在 python 中有 ...
python 服务端性能_python 学习笔记---Locust 测试服务端性能
由于人工智能的热度, python目前已经成为最受欢迎的编程语言,一度已经超越Java . 本文将介绍开源的python 测试工具: locust 使用步骤: 1. 安装python 3.0以上版本 ...

python多进程反而慢_python 3.6 多进程的坑

python多进程反而慢_python 3.6 多进程的坑相关推荐

最新文章

热门文章