Disruptor并发框架--学习笔记
Disruptor并发框架简介
Martin Fowler在自己网站上写了一篇LMAX架构的文章,在文章中他介绍了LMAX是一种新型零售金融交易平台,它能够以很低的延迟产生大量交易。这个系统是建立在JVM平台上,其核心是一个业务逻辑处理器,它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存中,使用事件源驱动方式。业务逻辑处理器的核心是Disruptor。
Disruptor它是一个开源的并发框架,并获得2011 Duke’s 程序框架创新奖,能够在无锁的情况下实现网络的Queue并发操作。
Disruptor是一个高性能的异步处理框架,或者可以认为是最快的消息框架(轻量的JMS),也可以认为是一个观察者模式的实现,或者事件监听模式的实现。
目前我们使用disruptor已经更新到了3.x版本,比之前的2.x版本性能更加的优秀,提供更多的API使用方式。
下载disruptor-3.3.2.jar引入我们的项目既可以开始disruptor之旅。
在使用之前,首先说明disruptor主要功能加以说明,你可以理解为他是一种高效的”生产者-消费者”模型。也就性能远远高于传统的BlockingQueue容器。
官方学习网站:http://ifeve.com/disruptor-getting-started/
(1)使用Disruptor
- 第一:建立一个Event类,用来承载数据,因为Disruptor是一个事件驱动的,所以再Disruptor中是以事件绑定数据进行传递的
- 第二:建立一个工厂Event类,用于创建Event类实例对象
- 第三:需要有一个监听事件类,用于处理数据(Event类)
- 第四:我们需要进行测试代码编写。实例化Disruptor实例,配置一系列参数。然后我们对Disruptor实例绑定监听事件类,接受并处理数据。
- 第五:在Disruptor中,真正存储数据的核心叫做RingBuffer,我们通过Disruptor实例拿到它,然后把数据生产出来,把数据加入到RingBuffer的实例对象中即可。
package com.zyh.study.disruptor.helloworld;import java.nio.ByteBuffer;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;import com.lmax.disruptor.*;
import com.lmax.disruptor.dsl.Disruptor;
import com.lmax.disruptor.dsl.ProducerType;public class Test {public static void main(String[] args) throws Exception {//创建缓冲池ExecutorService executor = Executors.newCachedThreadPool();//创建bufferSize ,也就是RingBuffer大小,必须是2的N次方int ringBufferSize = 1024 * 1024; // /**//BlockingWaitStrategy 是最低效的策略,但其对CPU的消耗最小并且在各种不同部署环境中能提供更加一致的性能表现WaitStrategy BLOCKING_WAIT = new BlockingWaitStrategy();//SleepingWaitStrategy 的性能表现跟BlockingWaitStrategy差不多,对CPU的消耗也类似,但其对生产者线程的影响最小,适合用于异步日志类似的场景WaitStrategy SLEEPING_WAIT = new SleepingWaitStrategy();//YieldingWaitStrategy 的性能是最好的,适合用于低延迟的系统。在要求极高性能且事件处理线数小于CPU逻辑核心数的场景中,推荐使用此策略;例如,CPU开启超线程的特性WaitStrategy YIELDING_WAIT = new YieldingWaitStrategy();*///创建disruptorDisruptor<Student> disruptor = new Disruptor<Student>(new EventFactory<Student>() {@Overridepublic Student newInstance() {return new Student();}}, ringBufferSize, executor, ProducerType.SINGLE, new YieldingWaitStrategy());// 连接消费事件方法disruptor.handleEventsWith(new EventHandler<Student>(){@Overridepublic void onEvent(Student student, long l, boolean b) throws Exception {System.out.println(student.toString());}});// 启动disruptor.start();//Disruptor 的事件发布过程是一个两阶段提交的过程://发布事件RingBuffer<Student> ringBuffer = disruptor.getRingBuffer();List<Student> stus = Arrays.asList(new Student("xiaohuihui",26,"男"),new Student("mingming",29,"男"),new Student("fangfang",20,"女"),new Student("ganggang",35,"男"),new Student("chunchun",18,"女"));for (Student stu : stus) {//生产者发布数据ringBuffer.publishEvent(new EventTranslator<Student>() {@Overridepublic void translateTo(Student student, long l) {student.setAge(stu.getAge());student.setName(stu.getName());student.setSex(stu.getSex());}});}disruptor.shutdown();//关闭 disruptor,方法会堵塞,直至所有的事件都得到处理;executor.shutdown();//关闭 disruptor 使用的线程池;如果需要的话,必须手动关闭, disruptor 在 shutdown 时不会自动关闭; }
}
(2)Disruptor术语
- RingBuffer:被看做Disruptor最主要的组件,然而从3.0开始RingBuffer仅仅负责存储和更新再Disruptor中流通的数据。对一些特殊的使用场景能够被用户(使用其他数据结构)完全替代。
- Sequence:Disruptor使用Sequence来表示一个特殊组件处理的序号。和Disruptor一样,每一个消费者(EventProcessor)都维持着一个Sequence。大部分的并发代码依赖这些Sequence值得运转,因此Sequence支持多种当前为AtomicLong类的特性。
- Sequencer:这是Disruptor真正的核心。实现了这个接口的两种生产者(单生产者和多生产者)均实现了所有的并发算法,为了在生产者和消费者之间进行准确快速的数据传递。
- SequenceBarrier:由Sequencer生成,并且包含了已经发布的Sequence的引用,这些Sequence源于Sequencer和一些独立的消费者的Sequence。它包含了决定是否有供消费者消费的Event的逻辑。用来权衡当消费者无法从RingBuffer里面获取事件时的处理策略。(例如:当生产者太慢,消费者太快,会导致消费者获取不到新的事件会根据该策略进行处理,默认会堵塞)
- WaitStrategy:决定一个消费者将如何等待生产者将Event置入Disruptor的策略。用来权衡当生产者无法将新的事件放进RingBuffer时的处理策略。(例如:当生产者太快,消费者太慢,会导致生成者获取不到新的事件槽来插入新事件,则会根据该策略进行处理,默认会堵塞)
- Event:从生产者到消费者过程中所处理的数据单元。Disruptor中没有代码表示Event,因为它完全是由用户定义的。
- EventProcessor:主要事件循环,处理Disruptor中的Event,并且拥有消费者的Sequence。它有一个实现类是BatchEventProcessor,包含了event loop有效的实现,并且将回调到一个EventHandler接口的实现对象。
- EventHandler:由用户实现并且代表了Disruptor中的一个消费者的接口。
- Producer:由用户实现,它调用RingBuffer来插入事件(Event),在Disruptor中没有相应的实现代码,由用户实现。
- WorkProcessor:确保每个sequence只被一个processor消费,在同一个WorkPool中的处理多个WorkProcessor不会消费同样的sequence。
- WorkerPool:一个WorkProcessor池,其中WorkProcessor将消费Sequence,所以任务可以在实现WorkHandler接口的worker之间移交
- LifecycleAware:当BatchEventProcessor启动和停止时,于实现这个接口用于接收通知。
(3)Disruptor应用
Disruptor实际上是对RingBuffer的封装,所以我们也可以直接使用RingBuffer类
API提供的生产者接口
EventTranslator<V>
与EventTranslatorOneArg<V v, Object data>
,前者不能动态传参,后者可以动态传递一个参数data
,V
为需要创建的数据对象,data
为实际数据,实现translateTo(V v, long sequeue, Object data)
方法,其中v
就是下一个可用事件槽里面的对象,data
为传进来的真实数据,调用ringBuffer.publishEvent(EventTranslatorOneArg translator, Object data);
来发布数据到RingBuffer中。
package com.zyh.study.disruptor.helloworld;import java.nio.ByteBuffer;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;import com.lmax.disruptor.*;
import com.lmax.disruptor.dsl.Disruptor;
import com.lmax.disruptor.dsl.ProducerType;public class LongEventMain {public static void main(String[] args) throws Exception {//创建缓冲池ExecutorService executor = Executors.newCachedThreadPool();//创建bufferSize ,也就是RingBuffer大小,必须是2的N次方int ringBufferSize = 1024 * 1024; // /**//BlockingWaitStrategy 是最低效的策略,但其对CPU的消耗最小并且在各种不同部署环境中能提供更加一致的性能表现WaitStrategy BLOCKING_WAIT = new BlockingWaitStrategy();//SleepingWaitStrategy 的性能表现跟BlockingWaitStrategy差不多,对CPU的消耗也类似,但其对生产者线程的影响最小,适合用于异步日志类似的场景WaitStrategy SLEEPING_WAIT = new SleepingWaitStrategy();//YieldingWaitStrategy 的性能是最好的,适合用于低延迟的系统。在要求极高性能且事件处理线数小于CPU逻辑核心数的场景中,推荐使用此策略;例如,CPU开启超线程的特性WaitStrategy YIELDING_WAIT = new YieldingWaitStrategy();*///创建disruptorDisruptor<Student> disruptor = new Disruptor<Student>(()->{return new Student();}, ringBufferSize, executor, ProducerType.SINGLE, new YieldingWaitStrategy());// 连接消费事件方法disruptor.handleEventsWith(new EventHandler<Student>(){@Overridepublic void onEvent(Student student, long l, boolean b) throws Exception {System.out.println(student.toString());}});// 启动disruptor.start();//Disruptor 的事件发布过程是一个两阶段提交的过程://发布事件RingBuffer<Student> ringBuffer = disruptor.getRingBuffer();List<Student> stus = Arrays.asList(new Student("xiaohuihui",26,"男"),new Student("mingming",29,"男"),new Student("fangfang",20,"女"),new Student("ganggang",35,"男"),new Student("chunchun",18,"女"));//生产者发布数据ringBuffer.publishEvent(new EventTranslatorOneArg<Student, List<Student>>() {@Overridepublic void translateTo(Student student, long l, List<Student> students) {student.setName(students.get(0).getName());student.setAge(students.get(0).getAge());student.setSex(students.get(0).getSex());}},stus);// for (Student stu : stus) {
// //生产者发布数据
// ringBuffer.publishEvent(new EventTranslator<Student>() {
// @Override
// public void translateTo(Student student, long l) {
// student.setAge(stu.getAge());
// student.setName(stu.getName());
// student.setSex(stu.getSex());
//
// }
// });
// }disruptor.shutdown();//关闭 disruptor,方法会堵塞,直至所有的事件都得到处理;executor.shutdown();//关闭 disruptor 使用的线程池;如果需要的话,必须手动关闭, disruptor 在 shutdown 时不会自动关闭; }
}
API提供的消费者接口
WorkerPool :
WorkerPool<Order>(RingBuffer<V> ringBuffer, SequenceBarrier sequenceBarrier, ExceptionHandler<? super V> exceptionHandler, WorkHandler<? super V>... workHandlers)
其中RingBuffer为数据缓冲区,sequenceBarrier是消费者与生产者之间的协调策略,API默认提供了一个实现类ProcessingSequenceBarrier,可以通过RingBuffer.newBarrier(Sequence... sequencesToTrack);
来获取,exceptionHandler为异常处理函数,当handler发生异常时回调该函数,workHandlers为实现了EventHandler接口的消息业务处理类,可以有多个。
WorkerPool启动的方法是WorkerPool.start(Executor executor)
BatchEventProcessor :
BatchEventProcessor<V>(RingBuffer extends DataProvider, SequenceBarrier sequenceBarrier, EventHandler<? super V> eventHandler)
其中RingBuffer为数据缓冲区,sequenceBarrier是消费者与生产者之间的协调策略,API默认提供了一个实现类ProcessingSequenceBarrier,可以通过RingBuffer.newBarrier(Sequence... sequencesToTrack);
来获取,eventHandler为实现了EventHandler接口的消息业务处理类。
BatchEventProcessor启动的方法是Executor.submit(BatchEventProcessor batchEventProcessor)
注意
SequenceBarrier是用来协调消费者和生成者之间效率的策略类,所以要想Barrier生效,必须要将消费者消费的Seuence传递给RingBuffer,然后由RingBuffer进行协调:ringBuffer.addGatingSequences(BatchEventProcessor.getSequence());
多消费者时使用BatchEventProcessor.getWorkerSequences()
(这两个方法WorkerPool同样适用)。这是在直接使用RingBuffer时需要进行的处理,如果通过Disruptor去进行调用,在调用handleEventsWith注册消费者方法时会自动添加该处理。
Disruptor注册消费者的方法是:
Disruptor.handleEventsWith(final EventHandler<? super T>... handlers)
Disruptor提供了一些复杂的并行运行方式。
1、生产者A生成的数据同时被B,C两个消费者消费,两者都消费完成之后再由消费者D对两者同时消费。(注意ABC以及下面提到的消息处理类必须要实现EventHandler接口)
EventHandlerGroup<Trade> handlerGroup = disruptor.handleEventsWith(A, B);
//声明在C1,C2完事之后执行JMS消息发送操作 也就是流程走到C3
handlerGroup.then(C);
2、生产者A生成的数据同时被B1,C2两个消费者消费,而B消耗完毕之后由B2处理,C1处理完成之后由C2处理,B2与C2两者都消费完成之后再由消费者D对两者同时消费。其中B1与B2,C1与C2是并行执行的。
disruptor.handleEventsWith(B1, C1);
disruptor.after(B1).handleEventsWith(B2);
disruptor.after(C1).handleEventsWith(C2);
disruptor.after(B2, C2).handleEventsWith(h3);
3、生产者A生成的数据依次被A,B,C三个消费者消费
disruptor.handleEventsWith(A).handleEventsWith(B).handleEventsWith(C);
并行运行方式demo:
Main方法:
package com.zyh.study.disruptor.base;import com.lmax.disruptor.BusySpinWaitStrategy;
import com.lmax.disruptor.EventFactory;
import com.lmax.disruptor.dsl.Disruptor;
import com.lmax.disruptor.dsl.EventHandlerGroup;
import com.lmax.disruptor.dsl.ProducerType;import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;public class Main { public static void main(String[] args) throws InterruptedException { long beginTime=System.currentTimeMillis(); int bufferSize=1024; ExecutorService executor=Executors.newFixedThreadPool(8); Disruptor<Trade> disruptor = new Disruptor<Trade>(new EventFactory<Trade>() { @Override public Trade newInstance() { return new Trade(); } }, bufferSize, executor, ProducerType.SINGLE, new BusySpinWaitStrategy()); //菱形操作//使用disruptor创建消费者组C1,C2EventHandlerGroup<Trade> handlerGroup =disruptor.handleEventsWith(new Handler1(), new Handler2());//声明在C1,C2完事之后执行JMS消息发送操作 也就是流程走到C3handlerGroup.then(new Handler3());//顺序操作/**disruptor.handleEventsWith(new Handler1()).handleEventsWith(new Handler2()).handleEventsWith(new Handler3());*///六边形操作. /**Handler1 h1 = new Handler1();Handler2 h2 = new Handler2();Handler3 h3 = new Handler3();Handler4 h4 = new Handler4();Handler5 h5 = new Handler5();disruptor.handleEventsWith(h1, h2);disruptor.after(h1).handleEventsWith(h4);disruptor.after(h2).handleEventsWith(h5);disruptor.after(h4, h5).handleEventsWith(h3);*/disruptor.start();//启动 CountDownLatch latch=new CountDownLatch(1); //生产者准备 executor.submit(new TradePublisher(latch, disruptor));latch.await();//等待生产者完事. disruptor.shutdown(); executor.shutdown(); System.out.println("总耗时:"+(System.currentTimeMillis()-beginTime)); }
}
TradePublisher:
public class TradePublisher implements Runnable { Disruptor<Trade> disruptor; private CountDownLatch latch; private static int LOOP=10;//模拟百万次交易的发生 public TradePublisher(CountDownLatch latch,Disruptor<Trade> disruptor) { this.disruptor=disruptor; this.latch=latch; } @Override public void run() {TradeEventTranslator tradeTransloator = new TradeEventTranslator(); for(int i=0;i<LOOP;i++){ disruptor.publishEvent(tradeTransloator); } latch.countDown(); } }
TradeEventTranslator:
class TradeEventTranslator implements EventTranslator<Trade>{ private Random random=new Random(); @Override public void translateTo(Trade event, long sequence) { this.generateTrade(event); } private Trade generateTrade(Trade trade){ trade.setPrice(random.nextDouble()*9999); return trade; } }
Trade:
@Data
public class Trade { private String id;//ID private String name;private double price;//金额 private AtomicInteger count = new AtomicInteger(0);}
Handler1:
package com.zyh.study.disruptor.base;import com.lmax.disruptor.EventHandler;public class Handler1 implements EventHandler<Trade>{@Override public void onEvent(Trade event, long sequence, boolean endOfBatch) throws Exception {System.out.println("handler1: set name");event.setName("h1");Thread.sleep(1000); }
}
Handler2:
package com.zyh.study.disruptor.base;import com.lmax.disruptor.EventHandler;public class Handler2 implements EventHandler<Trade> { @Override public void onEvent(Trade event, long sequence, boolean endOfBatch) throws Exception { System.out.println("handler2: set price");event.setPrice(17.0);Thread.sleep(1000);} }
Handler3:
package com.zyh.study.disruptor.base;import com.lmax.disruptor.EventHandler;public class Handler3 implements EventHandler<Trade> {@Override public void onEvent(Trade event, long sequence, boolean endOfBatch) throws Exception { System.out.println("handler3: name: " + event.getName() + " , price: " + event.getPrice() + "; instance: " + event.toString());}
}
Handler4:
package com.zyh.study.disruptor.base;import com.lmax.disruptor.EventHandler;public class Handler4 implements EventHandler<Trade> {@Override public void onEvent(Trade event, long sequence, boolean endOfBatch) throws Exception {System.out.println("handler4: get name : " + event.getName());event.setName(event.getName() + "h4");}}
Handler5:
package com.zyh.study.disruptor.base;import com.lmax.disruptor.EventHandler;public class Handler5 implements EventHandler<Trade>{@Override public void onEvent(Trade event, long sequence, boolean endOfBatch) throws Exception {System.out.println("handler5: get price : " + event.getPrice());event.setPrice(event.getPrice() + 3.0);}
}
Disruptor并发框架--学习笔记相关推荐
- Disruptor并发框架,核心组件RingBuffer
1.1 Disruptor并发框架简介 Martin Fowler在自己网站上写了一篇LMAX架构的文章,在文章中他介绍了LMAX是一种新型零售金融交易平台,它能够以很低的延迟产生大量交易.这个系统是 ...
- Spring框架学习笔记,超详细!!(4)
Java小白开始学习Spring框架,一方面,跟着视频学习,并记录下学习笔记,方便以后复习回顾.另一方面,发布学习笔记来约束自己,学习路程还很遥远,继续加油坚持!!!希望能帮助到大家! 另外还有我的牛 ...
- Spring框架学习笔记(三)(AOP,事务管理)
Spring框架学习笔记(三) 九.AOP 9.1 AOP的注解配置 (1) 新建计算器核心功能(模拟:不能在改动核心代码) (2) 建立一个普通的Java类写增强代码(面向切面编程),使用Sprin ...
- 27Vert.X框架学习笔记
vert.x框架学习笔记 文章目录 1 Vert.x简明介绍 1.1 Vert.x能干什么 1.2 Vert.x快速体验 1.3 Vert.x的简单介绍 1.4 Vert.x的一些优势 1.4.1 异 ...
- SpringMVC框架--学习笔记(下)
接上篇:SpirngMVC框架--学习笔记(上):https://blog.csdn.net/a745233700/article/details/81038382 17.全局异常处理: 系统中异常包 ...
- SpringMVC框架--学习笔记(上)
1.SpringMVC入门程序: (1)导入jar包:spring核心jar包.spring-webmvc整合Jar包 (2)配置前端控制器:web.xml文件中 <?xml version=& ...
- mybatis框架--学习笔记(下)
上篇:mybatis框架--学习笔记(上):https://blog.csdn.net/a745233700/article/details/81034021 8.高级映射: (1)一对一查询: ①使 ...
- mybatis框架--学习笔记(上)
使用JDBC操作数据库的问题总结: (1)数据库连接,使用时创建,不使用时立即释放,对数据库进行频繁连接开启和关闭,造成数据库资源浪费,影响数据库性能. 设想:使用数据库连接池管理数据库连接. (2) ...
- JavaSE中Map框架学习笔记
前言:最近几天都在生病,退烧之后身体虚弱.头疼.在床上躺了几天,什么事情都干不了.接下来这段时间,要好好加快进度才好. 前面用了三篇文章的篇幅学习了Collection框架的相关内容,而Map框架相对 ...
最新文章
- 区块链 + 大数据:EOS存储
- php 使用netstat -an,netstat -an 查看端口
- mac 当前文件夹打开终端_Mac上的这些实用你技巧,你知道几个?
- c3p0连接mysql异常
- LeetCode刷题(37)--Edit Distance
- 【编程珠玑】第五章 编程小事
- java.lang.NoSuchFieldError: INSTANCE at org.apache.http.conn.ssl.SSLConnectionSocketFactory
- ubuntu下使用锐捷校园网
- 单反拍摄技巧:利用直方图曝光
- 冷高轮时间windows电脑屏幕保护
- 滞回比较器分析网址总结
- typora插入代码设置_Typora快捷键
- python绘制饼图
- OpenCV C++案例实战二十九《遥感图像分割》
- 数字图像处理_Matlab——车牌识别分析
- 视 频 传 输 技 术
- 【报错及解决】Variable w already exists, disallowed. Did you mean to set reuse=True in VarScope? Originally
- 神舟 linux支持内存插槽,关于在神舟电脑里折腾linux的诸多麻烦
- 解决python数据加载中[Errno 24] Too many open files.问题
- c语言常用算法归纳,C语言常用算法
热门文章
- Vue中的 ref 和 $refs
- 微信小程序一定要用https的理由,小程序使用HTTPS链接分析
- 微信小程序 navigateTo 传对象参数
- java中elements_Java中的提供程序elements()方法
- python多行注释符号_python知识学习,python标识符和关键字
- 得到频域波形的坐标数组_10. 频域法之序
- JavaScript数据结构与算法——队列详解(下)
- 利用JS面向对象+模块化封装集AJAX请求、基本数据校验、URL参数截取等功能于一身的通用工具模块
- css3--文字效果
- 深藏不露,挖掘4种大脑网络中的管理工具