Python 分布式计算

2024-04-20 02:44:55

Python分布式计算

ipyparallel

待补充

parallelpython

Parallelpython是一个提供并行计算的python库，多处理器、多核和集群提供并行计算的可能，易于使用、安装和与其它python软件集成。是用纯python编写的开源、跨平台模块，其官网是https://www.parallelpython.com/。

特点

基本不依赖其它库，安装、部署比较简单，只需安装six库（手机termux也能部署）
对python版本没有强依赖性，python3所有版本理论上都可行（目前已经测试了3.7，3.10）
集成、扩展、二次开发比较容易
可主动发现server和client，无需各种配置，开箱即用

官网的python3版本好像存在bug，ppserver以自发现方式创建后，互相却无法发现。经过debug修复后，现在已经上传到了github ParallelPython仓库中。
同时添加了一个采用节点主动发现的计算质数求和的例程：

pp-1.6.4.4/examples/sum_primes_autodetect.py

安装

python setup.py install

使用方法

具体使用方法根据不同情况可查看官网文档Documentation小节的内容。本文主要介绍分布式/集群方式的使用方法：

节点：承担计算的节点运行ppserver.py -a -d，并确保每个节点的调试信息总出现其它节点的广播消息
客户端：导入pp库import pp
客户端：创建ppserverjob_server = pp.Server(ppservers=("*",))
客户端：拆分计算任务
客户端：提交任务f1 = job_server.submit(func1, args1, depfuncs1, modules1)
客户端：获取结果r1 = f1()

例子

按照官网创建集群部分的指南，不同机器启动./ppserver.py -a -d，每个节点调试信息中会输出接受到的其它节点的信息。

然后客户端启动任务程序：python sum_primes_autodetect.py，
客户端将任务分配到已经发现的各个节点进行计算。所有任务结束后，最终输出任务执行的统计信息。

同时做了以下试验来验证分布式并行计算的有效性，任务、试验环境和结果如图片所示：

Python 分布式计算相关推荐

《Python分布式计算》第8章继续学习（Distributed Computing with Python）
序言第1章并行和分布式计算介绍第2章异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章云平台部署Python 第6章超级计算机群使用Python 第7章测试 ...
《Python分布式计算》第5章云平台部署Python （Distributed Computing with Python）
序言第1章并行和分布式计算介绍第2章异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章云平台部署Python 第6章超级计算机群使用Python 第7章测试 ...
《Python分布式计算》第2章异步编程（Distributed Computing with Python）
序言第1章并行和分布式计算介绍第2章异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章云平台部署Python 第6章超级计算机群使用Python 第7章测试 ...
python分布式计算框架_基于Python的分布式计算平台-DPark
来自于: DPark是一个基于Mesos的集群计算框架(cluster computing framework),是Spark的Python实现版本,类似于MapReduce,但是比其更灵活,可以用P ...
python分布式计算_《Python分布式计算》第1章并行和分布式计算介绍（Distributed Computing with Python）...
本书示例代码适用于Python 3.5及以上. 当代第一台数字计算机诞生于上世纪30年代末40年代初(Konrad Zuse 1936年的Z1存在争议),也许比本书大多数读者都要早,比作者本人也要早. ...
python 分布式计算框架_漫谈分布式计算框架
如果问 mapreduce 和 spark 什么关系,或者说有什么共同属性,你可能会回答他们都是大数据处理引擎.如果问 spark 与 tensorflow 呢,就可能有点迷糊,这俩关注的领域不太一样 ...
python分布式计算框架_分布式计算框架Spark
Apache Spark是一个开源分布式运算框架,最初是由加州大学柏克莱分校AMPLab所开发. Hadoop MapReduce的每一步完成必须将数据序列化写到分布式文件系统导致效率大幅降低.Spa ...
python分布式计算框架-Parallel Python
本文翻译自:https://www.parallelpython.com/ 概述 Parallel Python是一个python模块,提供了在SMP(具有多个处理器或核心的操作系统)和群集上并行执行 ...
爬虫python需要什么软件-python大神们！都在用什么爬虫工具呢？
python大神们!都在用什么爬虫工具呢? Python开发爬虫常用的工具总结 reqeusts:Python HTTP网络请求库; pyquery: Python HTML DOM结构解析库,采用类 ...

最新文章

热门文章