1.RingBuffer、Disruptor
RingBuffer: 基于数组的缓存实现,也是创建Sequencer与定义WaitStrategy的入口
Disruptor: 持有RingBuffer、消费者线程池Executor、消费者集合含ConsumerRepository等引用
2.Sequence、Sequencer、Sequence Barrier
2.1 Sequence
- 通过顺序递增的序号来编号,管理进行交换的数据(事件);
- 对数据(事件)的处理过程总是沿着序号逐个递增处理;
- 一个Sequence用于跟踪标识某个特定的事件处理者(RingBuffer/Producer/Consumer)的处理进度,Producer有自己的Sequence,Consumer也有自己的Sequence,如果Producer和Consumer有多个,每个Producer和Consumer都有自己的Sequence;
- Sequence可以看成是一个AtomicLong,用于标识进度,只不过其比AtomicLong更强大;
- Sequence还有另外一个目的是防止不同Sequence之间CPU缓存伪共享(False Sharing)的问题;
2.2 Sequencer
- Sequencer表示一个对象,其包含了Sequence;
- Sequencer是Disruptor真正的核心;
- 此接口有两个重要实现类
com.lmax.disruptor.SingleProducerSequencer;
com.lmax.disruptor.MultiProducerSequencer;
- 主要实现生产者和消费者之间快速、正确地传递数据的并发算法;
2.2 Sequence Barrier
- 用于保持对RingBuffer的
Main Published Sequence (Producer)
和Consumer
之间的平衡的关系,或者说定义了Consumer要如何等着; - SequenceBarrier还定义了决定Consumer是否还有可处理的事件的逻辑;
3.WaitStrategy等待策略
- 决定一个消费者如何等待生产者将Event置入Disruptor;
- 其所有实现都是针对消费者线程的;
名称 | 措施 | 适用场景 |
---|---|---|
BlockingWaitStrategy | 加锁 | CPU资源紧缺,吞吐量和延迟并不重要的场景 |
BusySpinWaitStrategy | 自旋 | 通过不断重试,减少切换线程导致的系统调用,而降低延迟。推荐在线程绑定到固定的CPU的场景下使用 |
PhasedBackoffWaitStrategy | 自旋 + yield + 自定义策略 | CPU资源紧缺,吞吐量和延迟并不重要的场景 |
SleepingWaitStrategy | 自旋 + yield + sleep | 性能和CPU资源之间有很好的折中。延迟不均匀 |
TimeoutBlockingWaitStrategy | 加锁,有超时限制 | CPU资源紧缺,吞吐量和延迟并不重要的场景 |
YieldingWaitStrategy | 自旋 + yield + 自旋 | 性能和CPU资源之间有很好的折中。延迟比较均匀 |
主要策略有:
- BlockingWaitStrategy
- 最低效的策略,但其对CPU的消耗最小,并且在各种部署环境中能提供更加一致的性能表现;
- 内部维护了一个重入锁ReentrantLock和Condition;
- SleepingWaitStrategy
- 性能表现和
BlockingWaitStrategy
差不多,对CPU的消耗也类似,但其对生产者线程的影响最小,适合用于异步日志类似的场景; - 是一种无锁的方式;
- YieldingWaitStrategy
- 性能最好,适合用于低延迟的系统;在要求极高性能且事件处理线程数小于CPU逻辑核心树的场景中,推荐使用此策略;例如,CPU开启超线程的特性;
- 也是无锁的实现,只要是无锁的实现,
signalAllWhenBlocking()
都是空实现;
4.Event、EventProcessor、EventHandler
4.1 Event
从生产者到消费者过程中所处理的数据单元;
在Disruptor框架中没有类表示Event,因为它完全是由用户定义的,在Disruptor框架中是用泛型表示的;
4.2 EventProcessor
主要用于事件的循环,处理Disruptor中的Event,拥有消费者的Sequence;
- 它有一个实现类是BatchEventProcessor,包含了event loop的有效实现,并且将回调一个EventHandler接口的实现对象;
- 继承自java.lang.Runnable接口;
- 是Disruptor中最核心的方法,实现了run()方法,不断的轮询,获取数据对象,把数据对象交给消费者处理,具体怎么交给消费者,利用了消费者的等待策略;
- 其在run()方法中回调EventHandler的实现对象,所有的Consumer都实现了EventHandler接口;
4.3 EventHandler
由用户实现并且代表了Disruptor中的一个消费者的接口,也就是消费者逻辑都要写在其中;
5 WorkProcessor
在多生产者多消费者模式下,确保每个sequence只被一个processor消费,在同一个WorkPool中,确保多个WorkProcessor不会消费同样的sequence;
网友评论