问题描述

今天看代码，看到了大量关于mpi4py的内容，感觉十分摸不着头脑，遂去查资料，下面将查到的不错的资料的链接放在下面，供之后使用时参考。

MPI简介

以python为例，多线程由于GIL的存在，所以有multiprocessing来缓解；但它不能面向多个计算节点编程，所以MPI来了。当面向多个计算节点编程时，程序的各部分之间通过来回传递消息的方式通信。要使得消息传递方式可移植，就需要采用标准的消息传递库。这就促成消息传递接口(Message Passing Interface, MPI)的面世，MPI是一种被广泛采用的消息传递标准，所以MPI并不是一种语言。

在程序中，不同的进程需要相互的数据交换，特别是在科学计算中，需要大规模的计算与数据交换，集群可以很好解决单节点计算力不足的问题，但在集群中大规模的数据交换是很耗费时间的，因此需要一种在多节点的情况下能快速进行数据交流的标准，这就是MPI。所以MPI是一组用于多节点数据通信的标准，而非一种语言或者接口。具体的使用方法需要依赖它的具体实现(mpich or openmpi等)。对于 python 的 MPI 标准而言，可以使用 mpi4py 这个库。实现了点到点通信和集群通信等功能。

MPI官方文档地址：MPI for Python — MPI for Python 3.1.4 documentation

参考资料

资料分为中文版和英文版，据中文版作者说是在英文版的基础上加入了自己的一些理解，可根据自身英文水平自行选择语言种类进行阅读。

英文版资料

Parallel programming in Python: mpi4py (part 1) – PDC Blog

Parallel programming in Python: mpi4py (part 2) – PDC Blog

中文版资料

MPI基础，以 mpi4py 为例（操作系统番外篇） | Just for Life.

mpi4py用于并行计算相关推荐

并行计算（一）——初步认识
并行计算模型本定命名空间和私有的内存空间,主要采用 C/C++/Fortran 和 MPI . 全局命名空间和共享的内存空间,主要采用 C/C++/Fortran 和 OpenMP . Flynn ...
R语言中的并行计算实现
并行计算有显性并行和隐式并行, 隐式并行:OpenBLAS,Intel MKL,NVIDIA cuBLAS,H2O(参考我的博客)等显性并行:parallel(主打lapply应用).foreach ...
并行计算系列-阿姆达尔定律(Amdahl‘s Law)
阿姆达尔定律是一个计算机科学界的经验法则,因IBM公司计算机架构师吉恩·阿姆达尔而得名.吉恩·阿姆达尔在1967年发表的论文中提出了这个重要定律. 阿姆达尔定律主要用于发现仅仅系统的部分得到改进,整体 ...
如何成为一名异构并行计算工程师
随着深度学习(人工智能)的火热,异构并行计算越来越受到业界的重视.从开始谈深度学习必谈GPU,到谈深度学习必谈计算力.计算力不但和具体的硬件有关,且和能够发挥硬件能力的人所拥有的水平(即异构并行计算能 ...
武汉理工大学-并行计算-2020年期末复习指南
并行计算-2020-复习指南制作:纪元本提纲遵循CC-BY-NC-SA协议 (署名-非商业性-相同方式共享) 文章目录并行计算机系统及其结构模型存储墙互联网络网络性能指标静态互连网络动 ...
【并行计算】Bitonic Sort（双调排序）基础
双调序列双调序列(Bitonic Sequence)是指由一个非严格增序列X和非严格减序列Y构成的序列,比如序列(23,10,8,3,5,7,11,78). 定义:一个序列a1,a2,-,an是双调 ...
Windows系统下搭建MPI（并行计算）环境
Windows系统下搭建MPI环境 MPI的全称是Message Passing Interface即标准消息传递界面,可以用于并行计算.MPI的具体实现一般采用MPICH.下面介绍如何在Window ...
[并行计算]Matlab并行计算工具箱(Parallel Computing Toolbox)官方文档教程中文版(1)
Arranged By Zhonglihao @ 2018 **请确认Matlab安装时点选了并行计算工具箱第一章:parfor循环并行计算 parfor循环介绍 parfor循环是Matlab并行 ...
零基础创建自定义gym环境——以股票市场为例
零基础创建自定义gym环境--以股票市场为例翻译自medium上的一篇文章Create custom gym environments from scratch - A stock market e ...

mpi4py用于并行计算