在同一台电脑上弄分布(异步)式训练

简单的代码如下（两端代码分别同时执行）：
训练

import multiprocessing.managers
from multiprocessing import Queue
import time
task_queue = Queue()
def return_task():return task_queue
class QueueManager(multiprocessing.managers.BaseManager):passif __name__ == "__main__":# 开启分布式支持multiprocessing.freeze_support()# 注册可以访问队列并得到结果的函数QueueManager.register('get_task', callable=return_task)# QueueManager.register('get_result')manager = QueueManager(address=('192.168.0.107', 8888), authkey='password'.encode('utf-8'))manager.start()task = manager.get_task()# result=manager.get_result()# 训练开始之前最好要睡眠几秒让数据先进入缓存区域epoch_b=0while epoch_b<11111111111111:epoch_b+=1# 从队列中取出任务# 训练代码放这里data = task.get()print(data.shape)# 运算时间time.sleep(1)

数据生成


import multiprocessing.managersimport torchclass QueueManager(multiprocessing.managers.BaseManager):passif __name__ == "__main__":# 开启分布式支持multiprocessing.freeze_support()# 注册可以访问队列并得到结果的函数QueueManager.register('get_task')# QueueManager.register('get_result', callable=return_result)manager = QueueManager(address=('192.168.0.107', 8888), authkey='password'.encode('utf-8'))manager.connect()# 任务队列task = manager.get_task()# 结果队列# result = manager.get_result()# 小于m 个 batchsize 就开始放入输入  大于n个batchsize 就停止放入data_block_name = torch.rand([20,1200,10000])# 这里大小看内存大小while task.qsize()<10:print(task.qsize())for i in data_block_name:task.put(i)# 根据内存调整预加载的大小while task.qsize()>=9:print(task.qsize())

上面是基础代码应用代码可参考
https://dongfangyou.blog.csdn.net/article/details/118307032

后期会整理一个方便快捷的pytorch异步训练的完美例子

在同一台电脑上弄分布(异步)式训练相关推荐

《纽约客》特写Jeff Dean与Sanjay：谷歌唯二11级工程师，同一台电脑上写代码
作者:<纽约客> James Somers 翻译:新浪科技堆堆.李明量子位经授权转载 | 公众号 QbitAI 最近,<纽约客>杂志写了一篇长文,描述谷歌唯二11级工程师 ...
Jeff Dean的激荡人生：我和Sanjay在同一台电脑上写代码
选自NewYorker,作者:James Somers,机器之心编译. 有很多人认为,Jeff Dean 的存在是谷歌如此强大的原因,谷歌员工都把谷歌搜索惊人的速度归功于他,他也是神经网络框架 Ten ...
如何利用计算机窃取信息,震惊部 · 用非接触的方式，窃取一台电脑上的信息...
原标题:震惊部 · 用非接触的方式,窃取一台电脑上的信息电脑在工作的时候,无时无刻不在对外产生各种各样的影响,这一点很好理解.即使电脑没有连接网络,其正常工作的时候也免不了要和外界发生各种各样的交互 ...
移动硬盘在电脑上的设备和驱动器中没有读出来，另一台电脑上是好的
今天不知道怎么回事,移动硬盘插到台式机上,设备和驱动器突然就没有读出来,以前都能读出来的,但是右下角硬盘的设备标志显示出来了. 插到另一台电脑上又可以读出来. 不放弃的反复试了几次还是一样. 网上描述 ...
在一台电脑上使用两个github账号
问题描述: 我公司有一个github账号,每天工作把代码传上去,我觉得代码写的好,我同时想上传到自己的github账号上面去,但是目前只有一台电脑,如何在一台电脑上面进行设置,使这一台电脑可以同时上传 ...
如何在同一台电脑上多个账户同时登陆MSN
一般情况下,在一台电脑上只能启动一个msn进程,所以当想多个账户在同一台电脑上同时登陆时,就无法实现了.我们可以使用MSNShell来实现多个账户的同时登陆. MSNShell下载地址:http:// ...
在同一台电脑上同时安装Python2和Python3
目前Python的两个版本Python2和Python3同时存在,且这两个版本同时在更新与维护. 到底是选择Python2还是选择Python3,取决于当前要使用的库.框架支持哪个版本. 例如:HTM ...
在同一台电脑上同时使用IE6和IE7
编者按:最近微软发布了IE7简体中文版,有了很多改进.毫无疑问,是Mozilla的Firefox激发了微软改良浏览器的雄心.只要简单看一下IE7的接口即可充分的证明这一点,尤其是以下这些功能:新分类的 ...
如何在同一台电脑上同时运行2个tomcat
前段时间做的项目,由于是给手机客户端做服务器,所以客户端在开发过程中需要访问我的服务器. 问题是我也在开发,并且没有加入热部署,那么势必会造成服务器频繁重启,这也对客户端开发会产生一定的影响. 此时就 ...

在同一台电脑上弄分布(异步)式训练

在同一台电脑上弄分布(异步)式训练相关推荐

最新文章

热门文章