并行程序设计模式--Master-Worker模式
并行程序设计模式–Master-Worker模式
- 简介
Master-Worker模式是常用的并行设计模式。它的核心思想是,系统有两个进程协议工作:Master进程和Worker进程。Master进程负责接收和分配任务,Worker进程负责处理子任务。当各个Worker进程将子任务处理完后,将结果返回给Master进程,由Master进行归纳和汇总,从而得到系统结果。处理过程如下图:
Master-Worker模式的好处是,它能将大任务分解成若干个小任务,并发执行,从而提高系统性能。而对于系统请求者Client来说,任务一旦提交,Master进程就会立刻分配任务并立即返回,并不会等系统处理完全部任务再返回,其处理过程是异步的。
- Master-Worker模式结构
Master-Worker模式的主要结构如下图:
如上图所示,Master进程是主要进程,它维护着一个Worker进程队列、子任务队列和子结果集,Worker进程中的Worker进程不断的从任务队列中提取要处理的子任务,并将子任务的处理结果放入到子结果集中。
在上图中,Master:用于任务的分配和最终结果的合并;Worker:用于实际处理一个任务;客户端进程:用于启动系统,调度开启Master。
- Master-Worker模式代码实现
Master代码实现:
1 public class Master {2 //任务队列3 protected Queue<Object> workQueue = new ConcurrentLinkedQueue<Object>();4 //worker进程队列5 protected Map<String, Thread> threadMap = new HashMap<String, Thread>();6 //结果集7 protected Map<String, Object> resultMap = new HashMap<String,Object>();8 9 //是否所有的子任务都结束 10 11 public boolean isComplete(){ 12 for(Map.Entry<String, Thread> entry:threadMap.entrySet()){ 13 if(entry.getValue().getState()!=Thread.State.TERMINATED){ 14 return false; 15 } 16 } 17 return true; 18 } 19 20 public Master(Worker worker,int countWorker) { 21 worker.setResultMap(resultMap); 22 worker.setWorkQueue(workQueue); 23 for (int i = 0; i < countWorker; i++) { 24 threadMap.put(Integer.toString(i), new Thread(worker,Integer.toString(i))); 25 } 26 } 27 28 //提交任务 29 30 public void submit(Object obj){ 31 workQueue.add(obj); 32 //System.out.println(obj.toString()); 33 } 34 35 36 37 //返回子任务结果集 38 public Map<String, Object> getResultMap() { 39 return resultMap; 40 } 41 42 //开始运行所有worker进程,并进行处理 43 44 public void execute(){ 45 for(Map.Entry<String, Thread> entry:threadMap.entrySet()){ 46 entry.getValue().start(); 47 } 48 } 49 50 }
Worker代码实现:
1 public class Worker implements Runnable {2 //任务队列3 protected Queue<Object> workQueue;4 //子任务结果集5 protected Map<String,Object> resultMap = new HashMap<String, Object>();6 7 8 public void setWorkQueue(Queue<Object> workQueue) {9 this.workQueue = workQueue; 10 } 11 public void setResultMap(Map<String, Object> resultMap) { 12 this.resultMap = resultMap; 13 } 14 15 public Object handle(Object input){ 16 return input; 17 } 18 @Override 19 public void run() { 20 while(true){ 21 Object input = workQueue.poll(); 22 23 if(null==input) break; 24 //处理子任务 25 Object re = handle(input); 26 resultMap.put(Integer.toString(input.hashCode()),re); 27 //System.out.println(re.toString()); 28 } 29 } 30 31 }
Master-Worker模式是一种串行任务并行化的方法,被分解的子任务在系统中可以并行处理。同时,如果有需要,Master进程不需要所有子任务都执行完成,就可以根据已有的部分结果集计算最终的结果。
现在以上面的Master-Worker实现为基础,来实现计算1-100的立方和。计算将被分解为100个子任务,每个子任务仅用于计算单独的立方和。Master产生固定数目Worker,来处理这些子任务。Worker不断的从任务集合中取出这些计算立方和的子任务,并将计算结果放入到Master的结果集中。Master负责将所有Worker的任务结果进行累加,从而产生最终的立方和。整个计算过程,Worker和Master的运算也是完全异步的,Master进程不必等所有的Worker进程都执行完成,就可以进行求和操作了。也就是所,Master在获取部分子任务的结果集时,就可以对最终结果进行计算了,从而提高了系统的并发性和吞吐量。
计算子任务的实现如下:
1 public class PlusWorker extends Worker { 2 3 @Override 4 public Object handle(Object input) { 5 Integer i = (Integer) input; 6 return i*i*i; 7 } 8 9 }
客户端代码如下:
1 public class Client {2 public static void main(String[] args) {3 Master m = new Master(new PlusWorker(), 5);//启动五个线程处理4 for (int i = 0; i < 100; i++) {5 m.submit(i);6 }7 m.execute();8 int re = 0;9 Map<String, Object> resultMap = m.getResultMap(); 10 while(resultMap.size()>0||!m.isComplete()){ 11 Set<String> keys = resultMap.keySet(); 12 String key = null; 13 for(String k:keys){ 14 key=k; 15 break; 16 } 17 Integer i = null; 18 if(key != null){ 19 i = (Integer) resultMap.get(key); 20 } 21 if(i!=null){ 22 re+=i;//并行计算结果集 23 } 24 25 if(key!=null){ 26 resultMap.remove(key);//将计算完成的结果移除 27 } 28 } 29 30 System.out.println(re); 31 } 32 }
通过Master创建5个Worker工作线程和PlusWorker工作实例。提交完100个任务后,就开始计算子任务。这些子任务,由生成的5个Worker线程共同完成。Master并不等所有的子任务都计算完成,就开始访问子结果集进行最终结果的计算,直到子结果集中所有的数据都被处理,并且5个活跃的Worker线程全部终止,才能求出最终结果。
转载于:https://www.cnblogs.com/xiapeng0701/p/7538273.html
并行程序设计模式--Master-Worker模式相关推荐
- linux 并行 模式,并行设计模式-Master/Worker
Master-Worker设计模式核心思想是将原来串行的逻辑并行化,并将逻辑拆分成很多独立模块并行执行,其中主要包含两个主要组件Master和Worker,Master主要讲逻辑进行查分,拆分为互相独 ...
- 【MPI学习3】MPI并行程序设计模式:不同通信模式MPI并行程序的设计
学习了MPI四种通信模式 及其函数用法: (1)标准通信模式:MPI_SEND (2)缓存通信模式:MPI_BSEND (3)同步通信模式:MPI_SSEND (4)就绪通信模式:MPI_RSEND ...
- 并发程序设计模式之Future模式
Future模式有点类似商品订单.比如在进行网上购物时,当看中某一件商品时,就可以提交订单.当订单处理完毕后,便可在家等待商品送货上门.卖家根据订单从仓库里取货,并配送到客户手上.在大部分情况下,商家 ...
- 网络基础一(协议的概念,网络应用程序设计模式)
协议的概念 什么是协议? 从应用的角度出发,协议可理解为"规则",是数据传输和数据的解释的规则. 假设,A.B双方欲传输文件.规定: 第一次,传输文件名,接收方接收到文件名,应答O ...
- 网络编程 协议和网络应用程序设计模式
协议和网络应用程序设计模式 一.协议 从应用的角度出发,协议可理解为"规则",是数据传输和数据的解释的规则. 假设,A.B双方欲传输文件.规定: 第一次,传输文件名,接收方接收到文 ...
- Java程序性能优化 读书笔记(十)并行设计模式:Future模式
转载:Java多线程编程中Future模式的详解<转> 参考:葛一鸣,Java程序性能优化.清华大学出版社. 随着多核时代的到来,CPU的并行能力有了很大的提升.在这种背景下,传统的串行程 ...
- 设计模式 模版方法模式 展现程序员的一天
继续设计模式~ 模版方法模式 老套路,先看下定义:定义了一个算法的骨架,而将一些步骤延迟到子类中,模版方法使得子类可以在不改变算法结构的情况下,重新定义算法的步骤. 简单看下定义,模版方法定义了一个算 ...
- 并发设计模式之Master-Worker模式
Master-Worker模式是常用的并行模式之一.它的核心思想是,系统由两类进程协作工作:Master进程和Worker进程.Master进程复杂接受和分配任务,Worker进程负责处理子任务.当各 ...
- 设计模式 之 命令模式
2019独角兽企业重金招聘Python工程师标准>>> 设计模式 之 命令模式 命令模式比较简单,不过多赘述 为什么需要命令模式 将"行为请求者"与"行 ...
最新文章
- sql增删改查_快速搞定数据库增删改查|附思维导图
- 申请表怎么填才能提高信用卡额度?
- IE6下div宽高设置
- 全方位分析web前端如何进行性能优化
- 企业实战_08_MyCat 搭建Mysql 一主二从复制环境
- Matlab 2017a笔记
- ADO.NET Entity Framework 学习
- 如何自学python知乎-怎么用最短时间高效的学习Python!知乎大佬给出了这样的答案!...
- 104. 字符串函数
- 软考 数据库系统工程师
- 求两个数的最小公倍数和最大公因数
- 海康web插件视频播放异常
- 点餐系统——数据库设计
- kaggle初探--泰坦尼克号生存预测
- 超分辨率技术AI人工智能老照片修复自动人像脑补照片高清重建人脸模糊图片变清晰软件
- 微信红包“昙花一现”?看传统企业中兴如何玩转“微信红包”
- 自动表单生成工具说明(后端、桌面、web、移动端)
- 【Centos 7】---vim环境配色(colorscheme)配置
- 物联网试点炼狱阶段就此结束了吗?
- Oracle PURGE子句清除回收站中的对象