anaconda安装支持mpi并行化的h5py

参考github上面的提问，可以用conda install -c conda-forge "h5py>=2.9=mpi*"通过conda安装支持mpi并行的h5py，其中2.9是这个channel里面支持mpi的第一个版本。
利用以下代码测试，来源于h5py文档：

from mpi4py import MPI
import h5pyrank = MPI.COMM_WORLD.rank  # The process ID (integer 0-3 for 4-process run)f = h5py.File('parallel_test.hdf5', 'w', driver='mpio', comm=MPI.COMM_WORLD)dset = f.create_dataset('test', (4,), dtype='i')
dset[rank] = rankf.close()

可以用h5pcc -showconfig查看版本以及是否并行安装（会发现没有官方文档里面给出的h5cc指令，或者位置不对）。
但是，截止到作者测试时候（2021年11月份），这种方法安装的h5py在并行写入的时候不支持超过2GB的写入，会出现报错：

OSError: Can't write data (can't convert from size to size_i)

测试代码为：

from mpi4py import MPI
import h5py
import numpy as nprank = MPI.COMM_WORLD.rank  # The process ID (integer 0-3 for 4-process run)f = h5py.File('parallel_test.hdf5', 'w', driver='mpio', comm=MPI.COMM_WORLD)size = 500000000
dset = f.create_dataset('test', (2*size,), dtype='f8')
dset[rank*size:(rank+1)*size] = np.random.rand(size)f.close()

根据HDF5帮助文档的一个问题，对于HDF5-1.10.2之前的版本会有这个限制（虽然查看发现安装的版本是1.10.6，已经比1.10.2要高了，但是实测不行，之后实测的结果是1.12.1可以），这和MPI的并行I/O操作工具 ROMIO 有关，详见这个博客，一种解决办法是多开一些进程保证每一个进程的单次写入小于2GB。更多关于hdf5的问答可参照并行HDF5帮助文档。作者认为这可能是因为与这个版本共同安装的mpi4py版本过低导致的。
如果需要支持单次读写高于2GB的h5py，需要自己安装hdf5。作者在Python3.6.13下进行测试。
使用conda install -c conda-forge hdf5=*=*mpich*来安装（来自github的问答），也可以用conda install -c conda-forge hdf5=1.12.1=*mpich*指定安装版本，可以用--force-reinstall强制重装。
然后使用CC="mpicc" HDF5_MPI="ON" pip install --no-binary=h5py --no-cache-dir h5py来安装支持并行的h5py（见h5py文档）。
注意，以上安装需要gcc，如果没有，使用conda install -c conda-forge gcc来安装。

anaconda安装支持mpi并行化的h5py相关推荐

(TF)Anaconda安装Tensorflow+Keras+Jupyter Notebook 老电脑（CPU不支持AVX指令集）
(TF)Anaconda安装Tensorflow+Keras+Jupyter Notebook 老电脑(CPU不支持AVX指令集) 目录     - 1.安装anaconda最新版本     - 2. ...
基于Anaconda安装GPU版PyTorch深度学习开发环境
基于Anaconda安装GPU版PyTorch深度学习开发环境 1 安装Anaconda 2 安装GPU计算驱动 2.1 检查是否有合适的GPU 2.2 下载CUDA和cuDNN 2.3 安装CUDA ...
Anaconda安装和使用指南教程：环境管理、包管理、离线安装第三方包
本文介绍anaconda的安装,和使用anaconda对Python进行环境管理. Anaconda安装和使用指南教程 1 概述 2 安装 3 环境管理 3.1 检查conda 3.2 创建环境 3. ...
ubuntu系统使用Anaconda安装tensorflow-gpu环境
一.环境配置版本信息: 安装tensorflow-gpu,需特别注意tensorflow-gpu.Python.CUDA.cuDNN版本的适配信息,版本不适配会导致tensorflow-gpu安装失败 ...
Mac下通过Anaconda安装Tensorflow
Mac下通过Anaconda安装Tensorflow Anaconda是一个基于python的科学计算平台,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地 ...
python安装、anaconda安装、pycharm安装（学习笔记，自己重新整理后的内容，最新版本工具安装）
1 搭建编程环境 1.1 安装Python 1.1.1 下载地址 https://www.python.org/downloads/ 根据自己的Windows版本下载对应的安装程序 1.1.2 运行P ...
anaconda如何卸载库_小白必看！Anaconda安装全攻略
本文作者:戴雯文字编辑:方言技术总编:张馨月爬虫俱乐部云端课程来袭! 爬虫俱乐部将于2020年8月25日至28日在线上举行Stata数据分析法律与制度专题训练营,主要是为了让学员掌握 ...
Anaconda 安装
参考网址:http://www.jianshu.com/p/169403f7e40c http://blog.csdn.net/qq_26898461/article/details/51488326 ...
python3.6.5安装tensorflow_Win10下用Anaconda安装TensorFlow(图文教程)
笔者之前在学习TensorFlow,也在自己的笔记本上完成了安装,在PyCharm中进行学习.但是最近为了使用python的科学计算环境,我把之前的环境卸载了,并用Anaconda重新安装了Tenso ...

anaconda安装支持mpi并行化的h5py

anaconda安装支持mpi并行化的h5py

anaconda安装支持mpi并行化的h5py相关推荐

最新文章

热门文章