解决python数据加载中[Errno 24] Too many open files.问题

在复现论文的过程中遇到了数据格式不同的问题，需要自己把数据改成论文要求的格式。

自己是初学者，第一次遇到[Errno 24]Too many open files.查了很多资料，说是线程数不足的问题，实际上在我的代码中，只是数据加载不规范产生的问题。

问题的背景大概是：自己想通过np.load()批量加载npz文件（一个文件存了一个向量）并存入列表中（一个文件夹有800个npz，共70个文件夹），这时报错Too many open files.原因是打开了太多文件。查了一些资料后学习到，这种情况需要对每个文件执行load和close操作，而不能直接一次性全部暴力读取。代码片段如下：

npz_name_list = []
npz_data_list = []
for root, dirs, files in os.walk(npz_path):for name in files:npz_name = os.path.join(root, name)         #遍历获取每个文件路径with np.load(npz_name) as f:                #加载单个npz文件npz_data_list.append(f['feat'])         #把特征矩阵存入npz_data_list这个特征列表f.close()                                   #关闭文件。很重要，因为不关闭会遇到文件太多无法处理的情况npz_name_list.append(npz_name)              #文件路径存入路径列表

这样解决了报错，但同时读取的速度明显慢了很多。

解决python数据加载中[Errno 24] Too many open files.问题相关推荐

python加载模型_解决python 无法加载downsample模型的问题
downsample 在最新版本里面修改了位置 from theano.tensor.single import downsample (旧版本) 上面以上的的import会有error raise: ...
数据加载中,请稍等......
loading图片下载:loading 页面代码: <%@ page language="java"contentType="text/html; charset= ...
JQuery插件：遮罩+数据加载中。。。（特点：遮你想遮，罩你想罩）
在很多项目中都会涉及到数据加载.数据加载有时可能会是2-3秒,为了给一个友好的提示,一般都会给一个[数据加载中...]的提示.今天就做了一个这样的提示框. 先去jQuery官网看看怎么写jQuery插 ...
mint-ui 图片懒加载及请求数据加载中提示方法
图片懒加载: 引入需要的文件 <script src="https://unpkg.com/vue-lazyload/vue-lazyload.js"></scr ...
DWZ 用dialog调用MVC自动生成的密码修改页面一直出现“数据加载中，请稍等...”和去掉“数据加载中，请稍等”的方法
在MVC框架中调用JS框架<DWZ富客户端框架>在用dialog调用自动MVC系统自动生成的密码修改页面一直出现"数据加载中,请稍等..."的问题. <a tit ...
dwz怎么使用数据加载中提示_百度地图数据采集手把手教，从此POI数据不再是愁...
本文介绍使用八爪鱼采集百度地图数据(以上海-建设银行为例)的方法采集网站:http://map.baidu.com/ 适用版本:八爪鱼7版本,8版本请参照官网新手入门教程制作 8版本新手入门教程:用 ...
bootstrap 数据加载中提示_解决Quartz定时器中查询懒加载数据no session的问题
作者:下一秒升华出自:CSDN 原文:blog.csdn.net/u013815546/article/details/53032445 相信大家在web开发过程中一定遇到过一种情况,Class班级 ...
Python -- 数据加载、存储与文件格式
在开始学习之前,我们需要安装pandas模块. 由于我安装的python的版本是3.4,我们在https://pypi.python.org/pypi/pandas#downloads,此网站上下载的 ...
python数据加载常规教程_Python加载数据的5种不同方式(收藏)
数据是数据科学家的基础,因此了解许多加载数据进行分析的方法至关重要.在这里,我们将介绍五种Python数据输入技术,并提供代码示例供您参考. 作为初学者,您可能只知道一种使用p andas.read_ ...

解决python数据加载中[Errno 24] Too many open files.问题

解决python数据加载中[Errno 24] Too many open files.问题相关推荐

最新文章

热门文章