HDF5: Python 的h5py与Julia的HDF5库读取效率比较，不差上下

封装一下h5py的读写array库，全数值型

def h5py_write_arr(save_path,data):f = h5py.File(save_path,'w')try:f['data'] =datafinally:f.close()def h5py_read_arr(save_path):f = h5py.File(save_path,'r')try:data =f['data'][()]finally:f.close()return data

用python 把一个array持久化为h5.

path = "C:\Users\rustr\Desktop\my.h5"

比较一下读取的速度情况

1、用 h5py_read_arr：

    t1 =t.time()data = h5py_read_arr(path)print("read h5 cost time:",t.time()-t1)

time:",t.time()-t1)
read h5 cost time: 0.14444708824157715

t1 =t.time() data = h5py_read_arr(path)

print(“read h5 cost time:”,t.time()-t1) read h5 cost time:
0.2049427032470703

t1 =t.time() data = h5py_read_arr(path)

print(“read h5 cost time:”,t.time()-t1) read h5 cost time:
0.27478766441345215

t1 =t.time() data = h5py_read_arr(path)

print(“read h5 cost time:”,t.time()-t1) read h5 cost time:
0.18096709251403809

2、用Julia:

using HDF5

function read_h5(file)fid = HDF5.h5open(file,"r")trydata = read(fid,"data")finallyclose(fid)endreturn data
end
file = s"C:\Users\rustr\Desktop\my.h5"
@time data =read_h5(file);
size(data)

或者直接来一行：

@time data = h5read(file,"data") # 简单，一行搞定

结果如下：

julia> @time data =read_h5(file);0.178845 seconds (2.56 k allocations: 397.228 MiB, 17.72% gc time)julia> @time data =read_h5(file);0.181711 seconds (59 allocations: 397.107 MiB, 20.64% gc time)

3、结论

（1）python 的h5py库是可以被Julia的HDF5库读取的；有可能在h5层次成为一个文件的标准；其它库生成的文件，并不一定，比如pdstore函数。

（2）Julia和python差不多。

HDF5: Python 的h5py与Julia的HDF5库读取效率比较，不差上下相关推荐

python获取qq好友ip_qqzeng-ip.dat IP库读取python版
qqzeng-ip.dat是一个特殊格式的dat文件,可以快速的查找IP对应的地理位置信息.据作者测试的结果来看,是100万ip查找速度0.5秒. 当然这和语言有非常大的关系,python的循环性能一 ...
Python处理HDF5文件：h5py库
h5py官方文档简介 HDF(Hierarchical Data Format)指一种为存储和处理大容量科学数据设计的文件格式及相应库文件.最早由美国国家超级计算应用中心 NCSA 研究开发,目 ...
UserWarning: h5py is running against HDF5 1.10.5 when it was built against 1.10.4（解决方案））
在pycharm上使用tensorflow时,遇到问题UserWarning: h5py is running against HDF5 1.10.5 when it was built agains ...
Anaconda下Python中h5py与netCDF4模块下载与安装方法
本文介绍基于Anaconda,下载并安装Python中h5py与netCDF4这两个模块的方法.h5py与netCDF4这两个模块是与遥感图像处理.地学分析等GIS操作息息相关的模块,应用较为广泛 ...
Hdf5开发笔记（一）：hdf5介绍，在windows上编译msvc2015x64版本
若该文为原创文章,转载请注明原文出处本文章博客地址:https://hpzwl.blog.csdn.net/article/details/121008456 长期持续带来更多项目与技术分享,咨询请 ...
python安装h5py
sudo pip install cython sudo apt-get install libhdf5-dev sudo pip install h5py test: python import h ...
关于python 中h5py库安装不上的解决办法
关于python 中h5py库安装不上的解决办法问题解决步骤 1.先安装wheel这个库,方法就是从命令行中输入pip install wheel 2.下载自己对应的h5py的版本,网址如下 3. ...
python多个领域140个常用库 (标准库/第三方库)
转自 https://blog.csdn.net/cqcre/article/details/98409076 导读:Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库.函数和外 ...
c++jpg转bmp_用C++加速julia：BMP图片读取
最近写了一个程序,需要大批量地读取8位的BMP格式的灰度图,程序写完profiler一看,竟然读图和处理的时间不相上下,这是万万不可接受的.经过一番折腾,最后决定用C++来加速8位BMP图片的读取.目 ...
解决Julia使用PyPlot库出现ERROR: ArgumentError: hasproperty of NULL PyObject问题
解决Julia使用PyPlot库出现ERROR: ArgumentError: hasproperty of NULL PyObject问题问题描述问题定位尝试方法解决方法 The end 问 ...

HDF5: Python 的h5py与Julia的HDF5库读取效率比较，不差上下

HDF5: Python 的h5py与Julia的HDF5库读取效率比较，不差上下相关推荐

最新文章

热门文章