A process in the process pool was terminated abruptly while the future was running or pending

解决方法：

把代码加到main中执行，有时能加速6倍左右

改之前：

p = ProcessPoolExecutor(max_workers=3)
results = p.map(task, URLS,range(3))
p.shutdown(wait=True)
for ret,url in results:
    print(ret,url)

改之后：

if __name__ == "__main__":
    p = ProcessPoolExecutor(max_workers=3)
    results = p.map(task, URLS,range(3))
    p.shutdown(wait=True)
    for ret,url in results:
        print(ret,url)

二.使用ProcessPoolExecutor
在concurrent.futures 库中有ThreadPoolExecutor(多线程)，ProcessPoolExecutor(多进程)
ThreadPoolExecutor，ProcessPoolExecutor的区别:
ThreadPoolExecutor:
ThreadPoolExecutor多线程并行执行任务，可以共享当前进程变量，但缺点也很致命，由于python GIL(Global Interpreter Lock 全局解释器锁)
的原因，及时多线程，但其实仍然最多只能占用CPU一个核，准确只能说是并发了，如果指定的任务和线程数不恰当(比如一个任务很

A process in the process pool was terminated abruptly while the future was running or pending相关推荐

python process pool_python multiprocessing.Process，multiprocessing.Pool区别（不同之处）
我们知道GIL Lock禁用了Python中的多线程功能.在Python中multiprocessing提供了两个用于多进程的类,即Process和Pool类.在以下各节中,我已对使用pool和pro ...
STOP: c000021a { Fatal System Error } the initial session process or system process terminated ...
错误: STOP: c000021a { Fatal System Error } the initial session process or system process terminated u ...
问题：org.gradle.process.internal.ExecException: Process 'command 'C:\Program Files\Java\jdk1.8.0
在用as开发项目的过程中,我碰到了这个错误,在网上找到了如下的解决方法,做下总结: 被编译的代码或资源有问题( finished with non-zero exit value 1): 出现这种编译 ...
java process 重启_JAVA Process启动sh 后的问题
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 import android.annotation.SuppressLint; import android.os.*; import java.io.* ...
.NET 线程 Thread 进程 Process、线程池 pool、Invoke、begininvoke、异步回调、APM、EAP、TPL、aysnc、await
windows系统是一个多线程的操作系统.一个程序至少有一个进程,一个进程至少有一个线程.进程是线程的容器,一个C#客户端程序开始于一个单独的线程,CLR(公共语言运行库)为该进程创建了一个线程,该线 ...
checkpoint process vs writer process vs wal writer process
开始我目前的理解是: 如果我执行了一条SQL文,那么先是相关数据写到 wal buffer里, 然后再写到 data buffer(shared_buffer)里. 这之后, 由于wal wr ...
python process 函数_Python Process创建进程的2种方法详解
前面介绍了使用 os.fork() 函数实现多进程编程,该方法最明显的缺陷就是不适用于 Windows 系统.本节将介绍一种支持 Python 在 Windows 平台上创建新进程的方法. Pytho ...
Dirichlet Process 和 Dirichlet Process Mixture模型
[本文链接:http://www.cnblogs.com/breezedeus/archive/2012/11/05/2754940.html,转载请注明出处.] Dirichlet Process ...
b2g process 和nuwa process 通信
它们通信的目的在于: b2g要发消息给nuwa,让它fork出web app进程.它们发生在nuwa进程已经完全启动,并准备好fork 其他app子进程.猜想,用的是socket pair 建立关系, ...

A process in the process pool was terminated abruptly while the future was running or pending

A process in the process pool was terminated abruptly while the future was running or pending相关推荐

最新文章

热门文章