Future、Master-Worker和生产者-消费者模型

2018年03月06日 22:32:08 努力做最好的自己阅读数：391

并行设计模式属于设计优化的一部分，它是对一些常用的多线程结构的总结和抽象。与串行结构相比，并行程序的结构通常更为复杂。因此合理的使用并行模式在多线程开发中更具有意义，在这里主要介绍Future、Master-Worker和生产者-消费者模型。

Future模式

Future模式有点类似于商品订单。比如在网购时，当看重某一件商品时，就可以提交订单，当订单处理完成后，在家里等待商品送货上门即可。或者说更形象的我们发送ajax请求的时候，页面是异步的进行后台处理，用户无须一直等待请求的结果，可以继续浏览或操作其他内容。

Future模式会异步创建一个子线程，去完成相关请求任务，然后将处理结果返回给主线程main。在子线程请求并处理数据的过程中，主线程可以继续做别的事情，即异步加载数据。

Future模式非常适合在处理耗时很长的业务逻辑时进行使用，可以有效减少系统的响应时间，提高系统的吞吐量。

Main.java

public class Main {
public static void main(String[] args) throws InterruptedException {
FutureClient fc = new FutureClient();
Data data = fc.request("请求参数");
System.out.println("请求发送成功!");
System.out.println("做其他的事情...");
String result = data.getRequest();
System.out.println(result);
}
}

FutureClient.java

public class FutureClient {
public Data request(final String queryStr){
//1 我想要一个代理对象（Data接口的实现类）先返回给发送请求的客户端，告诉他请求已经接收到，可以做其他的事情
final FutureData futureData = new FutureData();
//2 启动一个新的线程，去加载真实的数据，传递给这个代理对象
new Thread(new Runnable() {
@Override
public void run() {
//3 这个新的线程可以去慢慢的加载真实对象，然后传递给代理对象
RealData realData = new RealData(queryStr);
futureData.setRealData(realData);
}
}).start();
return futureData;
}
}

FutureData.java

public class FutureData implements Data{
private RealData realData ;
private boolean isReady = false;
public synchronized void setRealData(RealData realData) {
//如果已经装载完毕了，就直接返回
if(isReady){
return;
}
//如果没装载，进行装载真实对象
this.realData = realData;
isReady = true;
//进行通知
notify();
}
@Override
public synchronized String getRequest() {
//如果没装载好程序就一直处于阻塞状态
while(!isReady){
try {
wait();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
//装载好直接获取数据即可
return this.realData.getRequest();
}
}

RealData.java

public class RealData implements Data{
private String result ;
public RealData (String queryStr){
System.out.println("根据" + queryStr + "进行查询，这是一个很耗时的操作..");
try {
Thread.sleep(5000);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("操作完毕，获取结果");
result = "查询结果";
}
@Override
public String getRequest() {
return result;
}
}

上述程序执行的过程：在main主线程中，创建FutureClient对象并调用其request方法。在request方法体执行过程中，返回一个FutureData代理对象给main主线程，同时开启一个子线程A开始做真正请求处理工作。main主线程得到FutureData代理对象后，继续向下执行代码，执行String result = data.getRequest();，即调用FutureData对象中的getRequest()方法，这个方法是一个同步方法，使用了synchronized关键字修饰，main主线程获取当前FutureData的对象锁之后，执行了wait()方法，main主线程处于阻塞状态，并释放了FutureData的对象锁。在子线程A中创建RealData对象，执行RealData的构造函数，输出内容并使当前线程休眠5S并继续输出内容。RealData对象创建完毕后，在子线程A中执行futureData.setRealData(realData);，这个方法同样是一个同步方法，使用了synchronized关键字修饰，子线程A获取到FutureData对象的锁，执行notify(),发出通知，此时子线程A结束，阻塞的主线程main被唤醒，继续执行getRequest()中的return this.realData.getRequest();。最后，主线程再次执行输出。

Eclipse中console输出如下：

JDK中Future模式的封装

其实，在JDK中已经提供了Future模式的封装，使用示例如下：

UseFuture.java

import java.util.concurrent.Callable;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
import java.util.concurrent.FutureTask;
public class UseFuture implements Callable<String>{
private String para;
public UseFuture(String para){
this.para = para;
}
/**
* 这里是真实的业务逻辑，其执行可能很慢
*/
@Override
public String call() throws Exception {
//模拟执行耗时
Thread.sleep(5000);
String result = this.para + "处理完成";
return result;
}
//主控制函数
public static void main(String[] args) throws Exception {
String queryStr = "query";
//构造FutureTask，并且传入需要真正进行业务逻辑处理的类,该类一定是实现了Callable接口的类
FutureTask<String> future = new FutureTask<String>(new UseFuture(queryStr));
FutureTask<String> future2 = new FutureTask<String>(new UseFuture(queryStr));
//创建一个固定线程的线程池且线程数为2,
ExecutorService executor = Executors.newFixedThreadPool(2);
//这里提交任务future,则开启线程执行RealData的call()方法执行
//submit和execute的区别：第一点是submit可以传入实现Callable接口的实例对象，第二点是submit方法有返回值
Future f1 = executor.submit(future);//单独启动一个线程A去执行
Future f2 = executor.submit(future2);//单独启动一个线程B去执行
System.out.println("请求完毕");
try {
//在线程A、B的执行过程中，主线程main可以做额外的数据操作，也就是主程序执行其他业务逻辑
System.out.println("处理实际的业务逻辑...");
Thread.sleep(1000);
} catch (Exception e) {
e.printStackTrace();
}
//调用获取数据方法,如果call()方法没有执行完成,则依然会进行等待
System.out.println("数据：" + future.get());//future.get()获取线程A执行任务的结果
System.out.println("数据：" + future2.get());//future2.get()获取线程B执行任务的结果
executor.shutdown();
}
}

创建了2个FutureTask对象，并且传入实现了Callable接口并进行真实业务逻辑处理的类的对象作为参数。创建一个固定数量为2的一个线程池，通过executor.submit(FutureTask对象)来将task任务交给线程池中的线程进行处理。在两个处理task任务的子线程执行过程中，main主线程可以继续执行下面的代码System.out.println("请求完毕");。主线程main执行到future.get()时，若处理该task的子线程已经将该任务处理完毕，则future.get()可以获得子线程A的任务处理结果，同理future2.get()可以获得子线程B的任务处理结果。若future.get()代码执行时，处理future任务的子线程A还没有处理完成，则主线程main需要等待，直到子线程A处理完成，则future.get()获得任务处理结果后，则main主线程才可以继续向下执行代码。最后，将线程池关闭。

Eclipse的console输出：

Master-Worker模式

Master-Worker模式是常用的并行计算模式，它的核心思想是系统由两类进程协作工作：Master进程和Worker进程。Master负责接收和分配任务，Worker负责处理子任务。当各个Worker子进程处理完成后，会将结果返回给Master，由Master做归纳和总结。其好处是能将一个大任务分解成若干个小任务，并行执行，从而提高系统的吞吐量。

在系统的数据量不是很大的场景，用Hadoop或者Storm有点大材小用，可以考虑Master-Worker。

Main.java

import java.util.Random;
public class Main {
public static void main(String[] args) {
System.out.println("本机器可用processor数量："+Runtime.getRuntime().availableProcessors());
Master master = new Master(new Worker(), Runtime.getRuntime().availableProcessors());
Random r = new Random();
for(int i = 1; i <= 100; i++){
Task t = new Task();
t.setId(i);
t.setPrice(r.nextInt(1000));
master.submit(t);
}
master.execute();
long start = System.currentTimeMillis();
while(true){
if(master.isComplete()){
long end = System.currentTimeMillis() - start;
int priceResult = master.getResult();
System.out.println("最终结果：" + priceResult + ", 执行时间：" + end);
break;
}
}
}
}

Master.java

import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;
public class Master {
//1 有一个盛放任务的容器
private ConcurrentLinkedQueue<Task> workQueue = new ConcurrentLinkedQueue<Task>();
//2 需要有一个盛放worker的集合
private HashMap<String, Thread> workers = new HashMap<String, Thread>();
//3 需要有一个盛放每一个worker执行任务的结果集合
private ConcurrentHashMap<String, Object> resultMap = new ConcurrentHashMap<String, Object>();
//4 构造方法
public Master(Worker worker , int workerCount){
worker.setWorkQueue(this.workQueue);
worker.setResultMap(this.resultMap);
for(int i = 0; i < workerCount; i ++){
this.workers.put(Integer.toString(i), new Thread(worker));
}
}
//5 需要一个提交任务的方法
public void submit(Task task){
this.workQueue.add(task);
}
//6 需要有一个执行的方法，启动所有的worker方法去执行任务
public void execute(){
for(Map.Entry<String, Thread> me : workers.entrySet()){
me.getValue().start();
}
}
//7 判断是否运行结束的方法
public boolean isComplete() {
for(Map.Entry<String, Thread> me : workers.entrySet()){
if(me.getValue().getState() != Thread.State.TERMINATED){
return false;
}
}
return true;
}
//8 计算结果方法
public int getResult() {
int priceResult = 0;
for(Map.Entry<String, Object> me : resultMap.entrySet()){
priceResult += (Integer)me.getValue();
}
return priceResult;
}
}

Task.java

public class Task {
private int id;
private int price ;
public int getId() {
return id;
}
public void setId(int id) {
this.id = id;
}
public int getPrice() {
return price;
}
public void setPrice(int price) {
this.price = price;
}
}

Worker.java

import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.ConcurrentLinkedQueue;
public class Worker implements Runnable {
private ConcurrentLinkedQueue<Task> workQueue;
private ConcurrentHashMap<String, Object> resultMap;
public void setWorkQueue(ConcurrentLinkedQueue<Task> workQueue) {
this.workQueue = workQueue;
}
public void setResultMap(ConcurrentHashMap<String, Object> resultMap) {
this.resultMap = resultMap;
}
@Override
public void run() {
while(true){
Task input = this.workQueue.poll();//获取并移除队列的头元素
if(input == null) break;
Object output = MyWorker.handle(input);
this.resultMap.put(Integer.toString(input.getId()), output);
}
}
/*private Object handle(Task input) {
Object output = null;
try {
//处理任务的耗时。。比如说进行操作数据库。。。
Thread.sleep(500);
output = input.getPrice();
} catch (InterruptedException e) {
e.printStackTrace();
}
return output;
}*/
private static Object handle(Task input) {
return null;
}
}

MyWorker.java

import test.Worker;
public class MyWorker extends Worker{
public static Object handle(Task input){
Object output = null;
try {
//处理任务的耗时。。比如说进行操作数据库。。。
Thread.sleep(500);
output = input.getPrice();
} catch (InterruptedException e) {
e.printStackTrace();
}
return output;
}
}

Eclipse的console输出：

生产者-消费者

生产者-消费者也是一个非常经典的多线程模式，我们在实际开发中应用非常广泛的的思想理念。在生产者-消费者模式中：通常有两类线程，即若干个生产者的线程和若干个消费者的线程。生产者线程负责提交用户请求，消费者线程负责具体处理生产者提交的任务，在生产者和消费者之间通过共享内存缓存区进行通信。

Main.java

import java.util.concurrent.BlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;
public class Main {
public static void main(String[] args) throws Exception {
//内存缓冲区，生产者和消费者都需要拥有内存缓冲区的引用
BlockingQueue<Data> queue = new LinkedBlockingQueue<Data>(10);
//生产者
Provider p1 = new Provider(queue);
Provider p2 = new Provider(queue);
Provider p3 = new Provider(queue);
//消费者
Consumer c1 = new Consumer(queue);
Consumer c2 = new Consumer(queue);
Consumer c3 = new Consumer(queue);
//创建线程池运行,这是一个缓存的线程池，可以创建无穷大的线程，没有任务的时候不创建线程。空闲线程存活时间为60s（默认值）
ExecutorService cachePool = Executors.newCachedThreadPool();
//将3个生产者、3个消费者交给线程池去执行，线程池会分配线程去执行这些生产者、消费者的任务
cachePool.execute(p1);//execute方法的参数为实现了Runnable接口的类的对象
cachePool.execute(p2);
cachePool.execute(p3);
cachePool.execute(c1);
cachePool.execute(c2);
cachePool.execute(c3);
try {
Thread.sleep(3000);
} catch (InterruptedException e) {
e.printStackTrace();
}
p1.stop();
p2.stop();
p3.stop();
try {
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
// cachePool.shutdown();
// cachePool.shutdownNow();
}
}

Provider.java

import java.util.Random;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.atomic.AtomicInteger;
public class Provider implements Runnable{
//共享缓存区
private BlockingQueue<Data> queue;
//多线程间是否启动变量，有强制从主内存中刷新的功能。即时返回线程的状态
private volatile boolean isRunning = true;
//id生成器
private static AtomicInteger count = new AtomicInteger();
//随机对象
private static Random r = new Random();
public Provider(BlockingQueue queue){
this.queue = queue;
}
@Override
public void run() {
while(isRunning){
try {
//随机休眠0 - 1000 毫秒表示获取数据(产生数据的耗时)
Thread.sleep(r.nextInt(1000));
//获取的数据进行累计...
int id = count.incrementAndGet();
//比如通过一个getData方法获取了
Data data = new Data(Integer.toString(id), "数据" + id);
System.out.println("当前线程:" + Thread.currentThread().getName() + ", 获取了数据，id为:" + id + ", 进行装载到公共缓冲区中...");
if(!this.queue.offer(data, 2, TimeUnit.SECONDS)){
System.out.println("提交缓冲区数据失败....");
//do something... 比如重新提交
}
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
public void stop(){
this.isRunning = false;
}
}

Data.java

public final class Data {
private String id;
private String name;
public Data(String id, String name){
this.id = id;
this.name = name;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
@Override
public String toString(){
return "{id: " + id + ", name: " + name + "}";
}
}

Consumer.java

import java.util.Random;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.TimeUnit;
public class Consumer implements Runnable{
private BlockingQueue<Data> queue;
public Consumer(BlockingQueue queue){
this.queue = queue;
}
//随机对象
private static Random r = new Random();
@Override
public void run() {
while(true){
try {
//获取数据
Data data = this.queue.take();
//进行数据处理。休眠0 - 1000毫秒模拟耗时
Thread.sleep(r.nextInt(1000));
System.out.println("当前消费线程：" + Thread.currentThread().getName() + "，消费成功，消费数据为id: " + data.getId());
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}

Eclipse的console中输出：

多线程三种设计模式-相关推荐

java中控制反转_Java如何利用IOC控制反转的三种设计模式详解
这篇文章主要为大家详细介绍了Java使用IOC控制反转的三种设计模式,具有一定的参考价值,感兴趣的小伙伴们可以参考一下对于许多开发人员来说,控制反演(IoC)都是一个模糊的概念,因为他们在现实世界中 ...
干掉if else！试试这三种设计模式，优化代码贼顺手！
点击上方"芋道源码",选择"设为星标" 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏原创 | ...
数据库 -- 由数据库连接池引出的三种设计模式
笔记摘要: 这里首先对数据库连接池的优化进行了说明,同时自己编写了一个数据库连接池,在实际开发中,为了获取标准的数据源,我们需要去实现javax.sal.DataSource接口, 在实现过程中对于链 ...
PHP常见三种设计模式：单例、工厂、观察者
1.单例模式目的:保证一个类仅有一个实例,并提供一个访问它的全局访问点. 应用场景:数据库连接.缓存操作.分布式存储. /*** 设计模式之单例模式* $_instance必须声明为静态的私有变量* ...
23三种设计模式详解
设计模式分为三大类: 创建型模式,共五种:工厂方法模式.抽象工厂模式.单例模式.建造者模式.原型模式. 结构型模式,共七种:适配器模式.装饰器模式.代理模式.外观模式.桥接模式.组合模式.享元模式. ...
多线程三种创建方式及区别
线程概念进程:启动一个程序就是一个进程. 线程:在一个程序里面,多个事情同步进行,这个事情是由线程来完成不使用多线程的效果如果我们不使用线程,会怎么样呢?看下面代码新建立一个hero类包含英雄 ...
多线程的三种设计模式的介绍
前言并发设计模型属于设计优化的一部分,它是对一些常用的多线程结构的总结和抽象.与串行程序相比,并行程序通常更为复杂.因此合理的使用并行模式在多线程开发中具有意义,本篇主要讲解一下Future,Mas ...
Java三种设计模式
Java设计模式 1,静态工厂方法模式提供一个工厂类,构造方法私有,不允许外界直接创建该工厂类的对象. 在工厂类中添加一个静态方法,用于创建对象并返回. 缺点:不利于后期维护如果后期要再创建类,还 ...
java常用的三种设计模式
一.单例模式 1.概述单例模式的定义就是确保某一个类只有一个实例,并且提供一个全局访问点.属于设计模式三大类中的创建型模式. 单例模式具有典型的三个特点: 只有一个实例. 自我实例化. 提供全局访问 ...

多线程三种设计模式-

Future、Master-Worker和生产者-消费者模型

多线程三种设计模式-相关推荐

最新文章

热门文章