进程间通讯：实现基于多进程的文件拷贝

apply_async非阻塞式调度，apply阻塞式调度
任何进程间资源都是独立的，所有一切都是不可以共享的。实现资源共享、进程间通讯比较常用的方式就是Queue。
使用Queue可以解决Process创建的进程之间的通讯，但是无法解决进程池中进程之间通讯。
进程池进程之间的通讯需要使用Manager.Queue()创建的队列。

# coding:utf-8from multiprocessing import Pool,Manager
import osdef copyfile(op,np,fn,queue):fileread = open(op+'/'+fn)filewrite = open(np+'/'+fn,'w')# 当然如果是较大文件时循环读取content = fileread.read()filewrite.write(content)fileread.close()filewrite.close()queue.put(fn)def main():op = input('please input folder path：')np = op+'-backups'os.makedirs(np)fns = os.listdir(op)pool = Pool(5)queue = Manager().Queue()for name in fns:pool.apply_async(copyfile,args=(op,np,name,queue))num = 0allNum = len(fns)while num<allNum:queue.get()num += 1copyRate = num/allNumprint('\r当前copy进度：%.2f%%'%(copyRate*100),end='')print('\n 已完成copy！')if __name__ == '__main__':main()

转载于:https://www.cnblogs.com/yudis/articles/10048696.html

进程间通讯：实现基于多进程的文件拷贝相关推荐

linux open 头文件_linux下通过共享内存和mmap实现进程间通讯
前言最近在学习GNU/Linux内核,看到mmap的时候书上说: mmap/munmap接口函数是用户最常用的两个系统调用接口,无论是在用户程序中分配内存.读写大文件.链接动态库文件,还是多进程间共 ...
【Linux】进程间通讯
前提知识进程间具有独立性 ,现在我们要打破独立性,去通讯,所以通讯的成本一定很高. 又时候又需要多进程协同完成某种业务内容 ,例如以前: cat file | grep "hello&q ...
IPC 进程间通讯,排队输出--day33
""" IPC 进程间通讯由于进程之间内存是相互独立的所以需要对应积极而方案能够使得进程之间可以相互传递数据 1.使用共享文件,多个进程同时读写同一个文件 IO速度 ...
【Linux】-- 进程间通讯
目录进程间通讯概念的引入意义(手段) 思维构建进程间通信方式管道站在用户角度-浅度理解管道匿名管道 pipe函数站在文件描述符角度-深度理解管道管道的特点总结管道的拓展单机版的负载 ...
管道实现进程间通讯、WaitNamedPipe
一.管道实现进程间通讯主要的理论知识 1．什么是管道以及分类管道是两个头的东西,每一个头各连接一个进程或者同一个进程的不同代码,依照管道的类别分有两种管道,匿名的和命名的:依照管道的传输方向分也能 ...
linux mmap实例_Linux下通过共享内存和mmap实现进程间通讯（含实例）
前言最近在学习GNU/Linux内核,看到mmap的时候书上说: mmap/munmap接口函数是用户最常用的两个系统调用接口,无论是在用户程序中分配内存.读写大文件.链接动态库文件,还是多进程间共 ...
Python 第八篇：异常处理、Socket语法、SocketServer实现多并发、进程和线程、线程锁、GIL、Event、信号量、进程间通讯...
本节内容: 异常处理.Socket语法.SocketServer实现多并发.进程和线程.线程锁.GIL.Event.信号量.进程间通讯.生产者消费者模型.队列Queue.multiprocess实例 ...
WIN32 进程间通讯-共享内存
一.引言在Windows程序中,各个进程之间常常需要交换数据,进行数据通讯.WIN32 API提供了许多函数使我们能够方便高效的进行进程间的通讯,通过这些函数我们可以控制不同进程间的数据交换 ...
linux进程间通讯的几种方式的特点和优缺点，和适用场合。
http://blog.csdn.net/kakaka2011/article/details/6636661 1. 管道( pipe ):管道是一种半双工的通信方式,数据只能单向流动,而且只能在具有 ...
一篇文章了解相见恨晚的 Android Binder 进程间通讯机制
概述最近在学习Binder机制,在网上查阅了大量的资料,也看了老罗的Binder系列的博客和Innost的深入理解Binder系列的博客,都是从底层开始讲的,全是C代码,虽然之前学过C和C++,然而 ...

进程间通讯：实现基于多进程的文件拷贝

进程间通讯：实现基于多进程的文件拷贝相关推荐

最新文章

热门文章