mpi4py linux例子,python-3.x – mpi4py中的共享内存

我使用MPI(mpi4py)脚本(在单个节点上),它与一个非常大的对象一起使用.为了让所有进程都可以访问该对象,我通过comm.bcast()分发它.这会将对象复制到所有进程并占用大量内存,尤其是在复制过程中.因此,我想分享像指针而不是对象本身.我发现memoryview中的一些功能对于增强进程内对象的工作非常有用.对象的实际内存地址也可以通过memoryview对象字符串表示来访问,并且可以像这样分发：

from mpi4py import MPI

comm = MPI.COMM_WORLD

rank = comm.Get_rank()

if rank:

content_pointer = comm.bcast(root = 0)

print(rank, content_pointer)

else:

content = ''.join(['a' for i in range(100000000)]).encode()

mv = memoryview(content)

print(mv)

comm.bcast(str(mv).split()[-1][: -1], root = 0)

这打印：

1 0x7f362a405048

2 0x7f362a405048

...

这就是为什么我认为必须有一种方法可以在另一个过程中重建对象.但是,我在文档中找不到有关如何操作的线索.

简而言之,我的问题是：是否可以在mpi4py中的同一节点上的进程之间共享对象？

mpi4py linux例子,python-3.x – mpi4py中的共享内存相关推荐

Linux 进程间通讯（IPC）方式 ------- 共享内存
Linux 进程间通讯(IPC)方式有以下几种: 1->管道(pipe)和有名管道(fifo). 2->消息队列 3->共享内存 4->信号量 5->信号(signal) ...
cuda合并访问的要求_在 CUDA C / C ++ 中使用共享内存
在上一篇文章中,我研究了如何将一组线程访问的全局内存合并到一个事务中,以及对齐和跨步如何影响 CUDA 各代硬件的合并.对于最新版本的 CUDA 硬件,未对齐的数据访问不是一个大问题.然而,不管 ...
ngx_lua模块中的共享内存字典项API
在ngx_lua模块中使用共享内存字典项相关API的前提条件是已经使用lua_shared_dict命令定义了一个字典项对象,该命令的具体用法为: 语法:lua_shared_dict <nam ...
Linux访问其他进程空间,Linux环境进程间通信系列（五）：共享内存
共享内存可以说是最有用的进程间通信方式,也是最快的 IPC 形式.两个不同进程 A . B 共享内存的意思是,同一块物理内存被映射到进程 A . B 各自的进程地址空间.进程 A 可以即时看到进程 B ...
Linux环境进程间通信系列（五）：共享内存
共享内存(上) 共享内存可以说是最有用的进程间通信方式,也是最快的IPC形式.两个不同进程A.B共享内存的意思是,同一块物理内存被映射到进程A.B各自的进程地址空间.进程A可以即时看到进程B对共享内存 ...
Linux C 进程间的IPC通信之共享内存（二）
1.父子进程(有亲缘关系)的IPC通信 int shmid; shmid = shmget(IPC_PRIVATE, 128, IPC_CREAT | 0777); //创建共享内存,参数 ...
linux进程间通信快速入门【二】：共享内存编程(mmap、XSI、POSIX)
文章目录 mmap内存共享映射 XSI共享内存 POSIX共享内存参考使用文件或管道进行进程间通信会有很多局限性,比如效率问题以及数据处理使用文件描述符而不如内存地址访问方便,于是多个进程以共享内 ...
php 共享内存列队,php中对共享内存，消息队列的操作
消息队列中的数据同样受到大小的约束,具体约束范围可通过msg_stat_queue的msg_qbytes看到.这段代码唯一有点小改动的地方就在接受消息时,指定了MSG_IPC_NOWAIT,不然如果目 ...
linux 进程间通信及makefile 无名管道/有名管道/共享内存/信号/消息队列
http://www.voidcn.com/article/p-hxvuiypm-mr.html https://www.cnblogs.com/wuyida/archive/2013/02/03/6 ...
Linux 3.进程间通信（shmget shmat shmdt shmctl 共享内存、signal signaction sigqueue 信号、semget semctl semop 信号量）
Linux 3.进程间通信(IPC) 共享内存共享内存的接口指令 shmget 创建获取获取共享内存 shmat 映射:连接共享内存到当前进程的地址空间 shmdt 断开与共享内存的连接 shmct ...

mpi4py linux例子,python-3.x – mpi4py中的共享内存

mpi4py linux例子,python-3.x – mpi4py中的共享内存相关推荐

最新文章

热门文章