数据集的常用格式：h5

深度学习搞了很长时间，其中开源的代码中经常用到大型数据集，里面的数据类型是h5格式，这个格式困扰我挺长时间，因为隔离还拿不到实验室的程序，只好硬着头皮再琢磨一遍。

关于h5文件的基本信息

h5这个格式可以把不同模态的数据类型，打包放在一起（有点像压缩），方便传递、下载，可能也方便读取吧，具体它的结构参见其他博客吧，我表述不清楚，其实也没有深入追究，没有必要，只要拿到了里面的内容就可以了；
这个博客写的还行，想知道具体是干嘛的，或者追究h5 的数据结构，可以看看：

https://blog.csdn.net/YYY_77/article/details/118269666

实例

我用的数据集KITTI和NYUDepthV2是两个模态的数据打包在一起的，具体来说：一个深度图，一个RGB图。
最终的代码是这样的：

import h5py
import numpy as npfileName = '00017.h5'
filePath = 'D:\\01-Python_In_One\\PycharmProjects\\mycode\\h5\\'
h5f = h5py.File(filePath + fileName, 'r')print([key for key in h5f.keys()])rgb = np.array(h5f['rgb'])  # 创建以h5中rgb这一group数据为内容的numpy类型array矩阵；
rgb = np.transpose(rgb, (1, 2, 0))
print('np.array type:', type(rgb))
print('np.array dtype:', rgb.dtype)
rgb = np.asfarray(rgb)
print('np.asfarray type:', type(rgb))
print('np.asfarray dtype:', rgb.dtype)

其他参考内容

https://guotong1988.blog.csdn.net/article/details/54093301?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2_defaultCTRLIST_{Rate-1-54093301-blog-103499388.pc_relevant_paycolumn_v3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2}default_CTRLISTRate-1-54093301-blog-103499388.pc_relevant_paycolumn_v3&utm_relevant_index=2
https://stackoverflow.com/questions/41627147/how-can-i-visualise-an-image-in-h5-format-data?answertab=scoredesc#tab-top
https://blog.csdn.net/rootkiss/article/details/103499388

【h5文件读取】h5文件读取——深度学习数据集常用相关推荐

深度学习中常用的标注文件
深度学习中常用的标注文件 mat mat文件是matlab专用的文件,第一次见是再COCOstuff-10k数据集中. 遇到的问题:如果用sublime打开的话,会显示16进制格式,可以猜想matla ...
深度学习数据集标注工具、图像语料数据库等资源
NLP+VS︱深度学习数据集标注工具.图像语料数据库.实验室搜索ing... 2017年02月07日 12:12:01 阅读数:27032 ~~因为不太会使用opencv.matlab工具,所以在找一 ...
NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing..
一.NLP标注工具来源:<构想:中文文本标注工具(附开源文本标注工具列表)> Chinese-Annotator 来源:https://github.com/crownpku/Chi ...
NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing....
from: https://blog.csdn.net/sinat_26917383/article/details/54908389 一.NLP标注工具来源:<构想:中文文本标注工具(附开源 ...
【图像标注】NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing
因为不太会使用opencv.matlab工具,所以在找一些比较简单的工具. . . 一.NLP标注工具BRAT BRAT是一个基于web的文本标注工具,主要用于对文本的结构化标注,用BRAT生成的 ...
深度学习数据集定义与加载
深度学习数据集定义与加载深度学习模型在训练时需要大量的数据来完成模型调优,这个过程均是数字的计算,无法直接使用原始图片和文本等来完成计算.因此与需要对原始的各种数据文件进行处理,转换成深度学习模型可 ...
捡漏！用谷歌图片搜索自制深度学习数据集 | 教程
铜灵编译整理量子位出品 | 公众号 QbitAI 就怕前脚刚立志搞个新研究,后脚就发现没有合适的数据集可用.AI工程师从入门到放弃,可能就是这么一会的功夫. 别找了,现在深度学习数据集也能自制了 ...
深度学习数据集的准备
深度学习数据集的准备下面介绍一个做了很久的项目,其中最简单的一部分是将该乳腺X线数据集进行有病没病的分类训练,说到训练最基本的就是数据集的准备,在这里先讲讲数据集怎么准备.下图是原始数据集的一部分. ...
DL之AF：机器学习/深度学习中常用的激活函数(sigmoid、softmax等)简介、应用、计算图实现、代码实现详细攻略
DL之AF:机器学习/深度学习中常用的激活函数(sigmoid.softmax等)简介.应用.计算图实现.代码实现详细攻略目录激活函数(Activation functions)相关配图各个激活 ...

【h5文件读取】h5文件读取——深度学习数据集常用

数据集的常用格式：h5

关于h5文件的基本信息

实例

其他参考内容

【h5文件读取】h5文件读取——深度学习数据集常用相关推荐

最新文章

热门文章