python实现分布式_Python如何快速实现分布式任务
深入读了读python的官方文档,发觉Python自带的multiprocessing模块有很多预制的接口可以方便的实现多个主机之间的通讯,进而实现典型的生产者-消费者模式的分布式任务架构。
之前,为了在Python中实现生产者-消费者模式,往往就会选择一个额外的队列系统,比如rabbitMQ之类。此外,你有可能还要设计一套任务对象的序列化方式以便塞入队列。如果没有队列的支持,那不排除有些同学不得不从socket服务器做起,直接跟TCP/IP打起交道来。
其实multiprocessing.managers中有个BaseManager就为开发者提供了这样一个快速接口。
我们假定的场景是1个生产者(producer.py)+8个消费者(worker.py)的系统,还有一个中央节点负责协调(server.py)实现如下:
server.py
from multiprocessing.managers import BaseManager
import Queue
queue = Queue.Queue() #初始化一个Q,用于消息传递
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue', callable=lambda:queue) # 在系统中发布get_queue这个业务
if __name__ == '__main__':
m = QueueManager(address=('10.239.85.193', 50000),authkey='abr' )
# 监听所有10.239.85.193的50000口
s = m.get_server()
s.serve_forever()
worker.py
from multiprocessing.managers import BaseManager
from multiprocessing import Pool
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue')
def feb(i): #经典的'山羊增殖'
if i < 2: return 1
if i < 5 : return feb(i-1) + feb(i-2)
return feb(i-1) + feb(i-2) - feb(i-5)
def worker(i):
m = QueueManager(address=('10.239.85.193', 50000), authkey='abr')
#连接server
m.connect()
while True:
queue = m.get_queue()
# 获取Q
c = queue.get()
print feb(c)
if __name__ == '__main__':
p = Pool(8) # 分进程启动8个worker
p.map(worker, range(8))
producer.py
from multiprocessing.managers import BaseManager
class QueueManager(BaseManager):
pass
QueueManager.register('get_queue')
if __name__ == '__main__':
m = QueueManager(address=('10.239.85.193', 50000), authkey='abr')
m.connect()
i = 0
while True:
queue = m.get_queue()
queue.put(48)
i+=1
系统会直接将Queue() 对象中的数据直接封装后通过TCP 50000端口在主机之间传递。不过需要注意的是,由于authkey的缘故,各个节点要求python的版本一致。
您可能感兴趣的文章:在Python程序中实现分布式进程的教程用python + hadoop streaming 分布式编程(一) — 原理介绍,样例程序与本地调试win10下python3.5.2和tensorflow安装环境搭建教程Pipenv一键搭建python虚拟环境的方法Linux下搭建Spark 的 Python 编程环境的方法Python搭建Spark分布式集群环境
python实现分布式_Python如何快速实现分布式任务相关推荐
- python如何实现分布式_Python如何快速实现分布式任务
深入读了读python的官方文档,发觉Python自带的multiprocessing模块有很多预制的接口可以方便的实现多个主机之间的通讯,进而实现典型的生产者-消费者模式的分布式任务架构. 之前,为 ...
- 分布式作业 Elastic-Job 快速上手指南
转载自 分布式作业 Elastic-Job 快速上手指南 Elastic-Job支持 JAVA API 和 Spring 配置两种方式配置任务,这里我们使用 JAVA API 的形式来创建一个简单的任 ...
- 视频教程-快速入门Python基础教程_Python基础知识大全-Python
快速入门Python基础教程_Python基础知识大全 十余年计算机技术领域从业经验,在中国电信.盛大游戏等多家五百强企业任职技术开发指导顾问,国内IT技术发展奠基人之一. 杨千锋 ¥99.00 立即 ...
- xxljob 配置具体定时任务_快速使用分布式定时任务 xxl-job
快速使用分布式定时任务 xxl-job 需要linux服务器环境安装: jdk1.8 ,docker 安装步骤地址 : linux快速安装jdk . 在linux里安装docker 1.docke ...
- 如何快速实现分布式定时器丨红黑树|跳表|堆|时间轮|缓存|锁|事务|架构|高性能|消息队列丨C/C++Linux服务器开发丨C++后端开发
如何快速实现分布式定时器 视频讲解如下,点击观看: 如何快速实现分布式定时器丨红黑树|跳表|堆|时间轮|缓存|锁|事务|架构|高性能|消息队列丨C/C++Linux服务器开发丨C++后端开发丨中间件 ...
- 分布式锁-Redisson快速入门
分布式锁-Redisson快速入门 一.引入依赖 二.配置Redisson客户端 三.使用Redisson的分布式锁 一.引入依赖 <dependency><groupId>o ...
- FastDFS - 快速的分布式文件系统
FastDFS 什么是FastDFS fast distributed file system(快速的分布式文件系统) FastDFS是用c语言编写的一款开源的分布式文件系统.它对文件进行管理,功能包 ...
- 视频教程-快速入门Python基础教程_Python基础进阶视频-Python
快速入门Python基础教程_Python基础进阶视频 十余年计算机技术领域从业经验,在中国电信.盛大游戏等多家五百强企业任职技术开发指导顾问,国内IT技术发展奠基人之一. 杨千锋 ¥199.00 立 ...
- Python学习教程(Python学习路线_Python基础学习教程_Python视频教程):初学者新手怎样快速入门Python
Python学习教程(Python学习路线_Python基础学习教程_Python视频教程):初学者新手怎样快速入门Python? 人生苦短,我用Python!!!短短几个字,现在在各大学习类平台随处 ...
最新文章
- 华华和月月种树(牛客)
- 膨胀的计算机仿真,制冷空调中的计算机仿真与控制
- simulink设计PID控制器及其封装详解
- 序列化和反序列化的概述
- OMG!这1010本书的书名都是什么鬼?
- 删除变量PHP之session的使用
- sevlet中web.xml 文件
- c fscanf 按行读取文件_语言 文件 看这一篇就够了
- 32岁男子沉迷网游十年离世 临终称真有意思
- 杭州地铁2号线西北段顺利通车 三思LED照明彰显“暖心”服务
- 中国咖啡机市场运行现状调研及投资战略分析报告2022-2027年
- 我国超级计算机历代,《决战崛起——中国超算强国之路》作品研讨会召开
- 2021-2027全球与中国MPO连接器市场现状及未来发展趋势
- python pymysql 如何输出 json 字符串
- CTF-MISC隐写总结
- python在画布上显示动态图片_python – matplotlib – 直接在画布上绘图
- matlab的且数组专职,如何将excel中数据导入matlab并存入数组中/matlab导入数据并绘图...
- pthread是什么
- 12口三层网管交换机的冰火两重天 (EMS试验和高低温测试)
- 我的微信小程序-微计划日程管理【源码】