python写进程_将数据作为后台进程在Python中写入磁盘

您可以像这样尝试

using multiple processes：

import multiprocessing as mp

def compute(j):

# compute a bunch of data

return data

def write(data):

# write data to disk

if __name__ == '__main__':

pool = mp.Pool()

for j in xrange(200):

pool.apply_async(compute, args=(j, ), callback=write)

pool.close()

pool.join()

pool = \\ tmp.Pool()将创建一个工作进程池.默认情况下,工作器数等于计算机具有的CPU核心数.

每个pool.apply_async调用将由工作进程池中的工作程序运行的任务排队.当一个worker可用时,它运行compute(j).当worker返回一个值data时,主进程中的一个线程运行回调函数write(data),数据是worker返回的数据.

一些警告：

>数据必须是可选择的,因为它是从数据传输的

工人通过Queue返回主流程.

>无法保证工人完成的顺序

任务与任务发送到的任务顺序相同

池.因此,数据写入磁盘的顺序可能不会

对应于j范围从0到199.解决这个问题的一种方法

将数据写入sqlite(或其他类型)数据库

j作为数据领域之一.然后,当你想阅读

按顺序排列数据,你可以SELECT * FROM表ORDER BY j.

>使用多个进程将增加所需的内存量

因为数据是由工作进程生成的,等待写入磁盘的数据会累积在队列中.您

可能能够减少使用NumPy所需的内存量

阵列.如果那是不可能的,那么你可能不得不减少

进程数：

pool = mp.Pool(processes=1)

这将创建一个工作进程(运行计算),离开

运行写入的主要进程.由于计算需要更长时间

写,队列将不会备份超过一个块

要写入磁盘的数据.但是,您仍然需要足够的内存

在写一个不同的块时计算一个数据块

数据到磁盘.

如果你没有足够的内存来同时执行这两个操作,那么你别无选择 – 你的原始代码是运行计算和顺序写入的唯一方法.

python写进程_将数据作为后台进程在Python中写入磁盘相关推荐

如何用python写脚本_【按键教程】用python写脚本另附垫材24与变奏22的实现
该楼层疑似违规已被系统折叠隐藏此楼查看此楼二.脚本中需要些什么以PE10炮为例 #!/usr/bin/python #对mac/linux用户,可以点击脚本文件即运行 # -*- coding: ...
python写透视挂_透视变换任意角度三维透视 python c++ opencv两种语言
效果图:键盘控制各个x,y,z,还有fov数值一开始的w, h = img.shape[0:2]这里宽.高错乱,原因未知,只能这么用 python版本的: # -*- coding:utf-8 -* ...
python获取实时基金数据由银河证券提供_我用Python写了个金融数据爬虫，半小时干了组里实习生一周的工作量...
原标题:我用Python写了个金融数据爬虫,半小时干了组里实习生一周的工作量最近,越来越多的研究员.基金经理甚至财务会计领域的朋友,向小编咨询:金融人需要学Python么? 事实上在2019年,这已 ...
python 路径格式化_吐血整理！140种Python标准库、第三方库和外部工具都有了！...
导读: Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库.函数和外部工具.其中既有Python内置函数和标准库,又有第三方库和工具. 这些库可用于文件读写.网络抓取和解析.数据 ...
Python灰帽子_黑客与逆向工程师的Python编程之道
收藏自用链接:Python灰帽子_黑客与逆向工程师的Python编程之道
云计算和python学哪个_大数据、云计算该如何学习？
大数据之Linux+大数据开发篇阶段一.大数据.云计算 - Hadoop大数据开发技术课程一.大数据运维之Linux基础本部分是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习H ...
用python写数字_用python 写游戏之数字华容道
当初对这个游戏颇有印象还是在最强大脑节目上面,何猷君以几十秒就完成了这个游戏.写2048游戏的时候,又想起了这个游戏,想着来研究一下. 游戏玩法用尽量少的步数,尽量短的时间,将棋盘上的数字方块,按照 ...
为什么用python写爬虫_零基础，是怎么开始写Python爬虫的
刚开始接触爬虫的时候,简直惊为天人,十几行代码,就可以将无数网页的信息全部获取下来,自动选取网页元素,自动整理成结构化的文件. 利用这些数据,可以做很多领域的分析.市场调研,获得很多有价值的信息.这种 ...
为什么用python写爬虫_老猿为什么写Python爬虫教程
对于"爬虫", 或许你只是听说过,或许已经有所了解.无论怎样,你可能有过这样的困惑: + 学了爬虫不知道怎么挣钱? + 技术不知道如何进阶? + 遇到问题不知道找谁交流? 十多年前 ...

python写进程_将数据作为后台进程在Python中写入磁盘

python写进程_将数据作为后台进程在Python中写入磁盘相关推荐

最新文章

热门文章