如何生成HDF5文件
在使用深度学习学习图像文件的时候,如果图片文件很多,比如大几千张,或者几万张。如果将一个图片再接一个图片导入到内存中,会极大地拖慢深度学习算法运行速度。我们都有过这样的经验,如果将一个文件夹里面有几万个文件的文件夹进行复制,其速度要比将文件夹打包之后复制速度要慢很多。
为了不让IO运算(将硬件中的图片一个一个导入到内存中)成为深度学习训练速度无法提高的一个瓶颈,这里来介绍一种方法,就是将很多的文件打包成一个HDF5的文件格式,最后用深度学习算法学习的时候,直接HDF5文件中导入数据就可以。
HDF5文件介绍
HDF5是一种数据存储格式,特别适合向磁盘中存取大数据的时候使用。一个HDF5文件可以被看成一个组,包含了不同的数据集,数据集可以是图像表格等等。HDF5组结构类似于文件系统的目录层次结构,根目录再包含其他目录。节点目录里存放相应的数据集。
安装很简单,使用pip
pip install h5py
如何将训练数据生成HDF5文件
class HDF5DatasetWriter:def __init__(self, dims, outputPath, dataKey="images", bufSize=1000):# 如果输出文件路径存在,提示异常if os.path.exists(outputPath):raise ValueError("The supplied 'outputPath' already exists and cannot be overwritten. Manually delete the file before continuing", outputPath)# 构建两种数据,一种用来存储图像特征一种用来存储标签self.db = h5py.File(outputPath, "w")self.data = self.db.create_dataset(dataKey, dims, dtype="float")self.labels = self.db.create_dataset("labels", (dims[0],), dtype="int")# 设置buffer大小,并初始化bufferself.bufSize = bufSizeself.buffer = {"data": [], "labels": []}self.idx = 0 # 用来进行计数def add(self, rows, labels):self.buffer["data"].extend(rows)self.buffer["labels"].extend(labels)# 查看是否需要将缓冲区的数据添加到磁盘中if len(self.buffer["data"]) >= self.bufSize:self.flush()def flush(self):# 将buffer中的内容写入磁盘之后重置bufferi = self.idx + len(self.buffer["data"])self.data[self.idx:i] = self.buffer["data"]self.labels[self.idx:i] = self.buffer["labels"]self.idx = iself.buffer = {"data": [], "labels": []}def storeClassLabels(self, classLabels):# 存储类别标签dt = h5py.special_dtype(vlen=str) # 表明存储的数据类型为字符串类型labelSet = self.db.create_dataset("label_names", (len(classLabels),), dtype=dt)# 将classLabels赋值给labelSet但二者不指向同一内存地址labelSet[:] = classLabelsdef close(self):if len(self.buffer["data"]) > 0: # 查看是否缓冲区中还有数据self.flush()self.db.close()
在这段代码中,我们定义一个类来实现文件的读取和打包并生成HDF5文件。
如何读取HDF5文件用于训练
class HDF5DatasetGenerator:def __init__(self, dbPath, batchSize, preprocessors = None, aug = None, binarize=True, classes=2):# 保存参数列表self.batchSize = batchSizeself.preprocessors = preprocessorsself.aug = augself.binarize = binarizeself.classes = classes# hdf5数据集self.db = h5py.File(dbPath)self.numImages = self.db['labels'].shape[0]def generator(self, passes=np.inf):epochs = 0# 默认是无限循环遍历,因为np.inf是无穷while epochs < passes:# 遍历数据for i in np.arange(0, self.numImages, self.batchSize):# 从hdf5中提取数据集images = self.db['images'][i: i + self.batchSize]labels = self.db['labels'][i: i + self.batchSize]# 检查是否标签需要二值化处理if self.binarize:labels = np_utils.to_categorical(labels, self.classes)# 预处理if self.preprocessors is not None:proImages = []for image in images:for p in self.preprocessors:image = p.preprocess(image)proImages.append(image)images = np.array(proImages)# 查看是否存在数据增强,如果存在,应用数据增强if self.aug is not None:(images, labels) = next(self.aug.flow(images,labels, batch_size = self.batchSize))# 返回yield (images, labels)epochs += 1def close(self):# 关闭dbself.db.close()
在这段代码中,我们以生成器的形式来读取HDF5文件,返回用于训练。
另外,我录制了一个视频用来演示如何将猫狗大战数据集生成HDF5文件,然后读取HDF5文件用于进行神经网络训练。对具体如何操作感兴趣的,可以看我这个视频了解一下。
对猫狗图片数据集生成HDF5文件和模型训练
如何生成HDF5文件相关推荐
- hdf5 文件生成 C++
使用 hdf5 配置 1. 包含目录 E:\WorkSpace\SoftWare\hdf5\include 2.库目录 E:\WorkSpace\SoftWare\hdf5\lib\ 3.链接器 -输 ...
- 利用pandas读写HDF5文件
一.简介 HDF5(Hierarchical Data Formal)是用于存储大规模数值数据的较为理想的存储格式,文件后缀名为h5,存储读取速度非常快,且可在文件内部按照明确的层次存储数据,同一个H ...
- 基于C++与VS2012的HDF5文件处理(一)
基于C++与VS2012的HDF5文件处理(一) 前言 随着研究的不断深入,处理的数据量越来越大,普通的数据格式读取速度慢,传输效率低等问题暴露无遗,计算时不得不使用一些复杂的数据格式.比起level ...
- python hdf5_使用Python将大量数字写入HDF5文件
我目前有一个包含一百万行的数据集,每行约10000列(可变长度) . 现在我想将这些数据写入HDF5文件,以便稍后使用 . 我让这个工作,但它是 incredibly slow . 即使1000个值也 ...
- 【MATLAB HDF5】Matlab将复数保存到hdf5文件
Matlab 对于hdf5文件的操作函数分为高级函数和低级函数,高级函数包括h5create.h5read.h5write.h5disp等.在我想使用h5create保存复数数据时,我发现,数据类型参 ...
- hdf5文件转换为jpg/png图片
文章目录 前言 一.关于`hdf5文件`的读取以及难点 二.在拿到`hdf5文件`时应当先查看这个文件里包含了哪些信息 三.知道具体信息后,再查看目标信息的维度 四.读取 `hr_dataset['i ...
- linux(以ubuntu为例)下Android利用ant自动编译、修改配置文件、批量多渠道,打包生成apk文件...
原创,转载请注明:http://www.cnblogs.com/ycxyyzw/p/4555328.html 之前写过一篇<windows下Android利用ant自动编译.修改配置文件.批量 ...
- NDK JNI Android Studio开发与调试DEMO(三)(生成 .so 文件)
Android Studio NDK 开发与调试(生成 .so 文件) 温馨提示:如果你的 Android Studio 版本在 3.0以上 , 建议你用 cMake /ndk-build 的新姿势进 ...
- 生成静态文件的新闻系统核心代码
在网上看了许多能生成静态页的新闻系统,但基于asp.net的系统极少,闲下时间来自己写了一个,发出来,大家一起研究,代码没做什么优化,只是实现了功能 using System; using Syste ...
最新文章
- HDU4081(次小生成树)
- 怎样封装一个自己的mvc框架(七)
- 一个简单的方式搞定密码的加盐哈希与验证
- Uber如何使用go语言创建高效的查询服务
- linux中进程的用户管理
- Mac os x 系统的发展史
- hive explain 源码分析
- 开发者如何在一周从入门级到专家级别的修炼
- 性能测试之LoadRunner11脚本录制方法
- 核信百度空间互踩工具v1.0.0 免费绿色版下载
- 【业务】JS中的有序Map与无序Object
- 安卓动画入门教程 Animation in Android(1)
- 如何把 Mac 中的文件拷贝到NTFS硬盘?
- 黑苹果显卡加速_黑苹果AMD RX5700XT定制FBname 提升显卡性能
- 电脑右键新建,少了office的几个图标,如:excel,word
- aimp输出dsd_极客评论:音乐播放器AIMP 2
- Thinkpad 系列电脑,装win10无限卡死在登录界面 解决方案及bug report!
- java的意思和含义,2022年最新
- C++头文件(xxx.h)与源文件(xxx.cpp)的关系
- 图形学课设 塔防游戏