一、ForkJoinPool
ForkJoinPool 是 JDK7 引入的，由 Doug Lea 编写的高性能线程池。核心思想是将大的任务拆分成多个小任务（即fork），然后在将多个小任务处理汇总到一个结果上（即join），非常像MapReduce处理原理。同时，它提供基本的线程池功能，支持设置最大并发线程数，支持任务排队，支持线程池停止，支持线程池使用情况监控，也是AbstractExecutorService的子类，主要引入了“工作窃取”机制，在多CPU计算机上处理性能更佳。其广泛用在java8的stream中。
从图中可以看出ForkJoinPool要先执行完子任务才能执行上一层任务，所以ForkJoinPool适合在有限的线程数下完成有父子关系的任务场景，比如：快速排序，二分查找，矩阵乘法，线性时间选择等场景，以及数组和集合的运算。
Fork/Join Pool采用优良的设计、代码实现和硬件原子操作机制等多种思路保证其执行性能。其中包括（但不限于）：计算资源共享、高性能队列、避免伪共享、工作窃取机制等。
二、与ThreadPoolExecutor原生线程池的区别
ForkJoinPool和ThreadPoolExecutor都实现了Executor和ExecutorService接口，都可以通过构造函数设置线程数，threadFactory，可以查看ForkJoinPool.makeCommonPool()方法的源码查看通用线程池的构造细节。
在内部结构上我觉得两个线程池最大的区别是在工作队列的设计上，如下图
ThreadPoolExecutor：
ForkJoinPool：
图上细节画的不严谨，但大致能看出区别：
- ForkJoinPool每个线程都有自己的队列
- ThreadPoolExecutor共用一个队列
使用ForkJoinPool可以在有限的线程数下来完成非常多的具有父子关系的任务，比如使用4个线程来完成超过2000万个任务。
ForkJoinPool最适合计算密集型任务，而且最好是非阻塞任务，之前的一篇文章：Java踩坑记系列之线程池 也说了线程池的不同使用场景和注意事项。
所以ForkJoinPool是ThreadPoolExecutor线程池的一种补充，是对计算密集型场景的加强。
三、工作窃取的实现原理
ForkJoinPool类中的WorkQueue正是实现工作窃取的队列，javadoc中的注释如下：
大意是大多数操作都发生在工作窃取队列中(在嵌套类工作队列中)。这些是特殊形式的Deques，主要有push，pop，poll操作。
Deque是双端队列(double ended queue缩写)，头部和尾部任何一端都可以进行插入，删除，获取的操作，即支持FIFO(队列)也支持LIFO(栈)顺序。
Deque接口的实现最常见的是LinkedList，除此还有ArrayDeque、ConcurrentLinkedDeque等。
工作窃取模式主要分以下几个步骤：
- 1、每个线程都有自己的双端队列。
- 2、当调用fork方法时，将任务放进队列头部，线程以LIFO顺序，使用push/pop方式处理队列中的任务。
- 3、如果自己队列里的任务处理完后，会从其他线程维护的队列尾部使用poll的方式窃取任务，以达到充分利用CPU资源的目的。
- 4、从尾部窃取可以减少同原线程的竞争。
- 5、当队列中剩最后一个任务时，通过cas解决原线程和窃取线程的竞争。
流程大致如下所示：
工作窃取便是ForkJoinPool线程池的优势所在，在一般的线程池比如ThreadPoolExecutor中，如果一个线程正在执行的任务由于某种原因无法继续运行，那么该线程会处于等待状态，包括singleThreadPool、fixedThreadPool、cachedThreadPool这几种线程池。
而在ForkJoinPool中，那么线程会主动寻找其他尚未被执行的任务然后窃取过来执行，减少线程等待时间。
JDK8中的并行流(parallelStream)功能是基于ForkJoinPool实现的，另外还有java.util.concurrent.CompletableFuture异步回调future，内部使用的线程池也是ForkJoinPool。
四、ForkJoinPool分析
4.1 ForkJoinPool成员变量
// 用来配置ctl在控制线程数量使用
private static final long ADD_WORKER = 0x0001L << (TC_SHIFT + 15); // sign
//控制线程池数量(ctl & ADD_WORKER) != 0L 时创建线程，
// 也就是当ctl的第16位不为0时，可以继续创建线程
volatile long ctl; // main pool control
//全局锁控制，全局运行状态
volatile int runState; // lockable status
//config二进制形式的低16位表示parallelism，
//config二进制形式的第高16位表示mode,1表示异步模式, 使用先进先出队列, 0表示同步模式, 使用先进后出栈
//低16位表示workerQueue在pool中的索引，高16位表示mode, 有FIFI LIFL
final int config; // parallelism, mode
//生成workerQueue索引的重要依据
int indexSeed; // to generate worker index
//工作者队列数组，内部线程ForkJoinWorkerThread启动时会注册一个WorkerQueue对象到这个数组中
volatile WorkQueue[] workQueues; // main registry
//工作者线程线程工厂，创建ForkJoinWorkerThread的策略
final ForkJoinWorkerThreadFactory factory;
//在线程因未捕异常而退出时，java虚拟机将回调的异常处理策略
final UncaughtExceptionHandler ueh; // per-worker UEH
//工作者线程名的前缀
final String workerNamePrefix; // to create worker name string
//执行器所有线程窃取的任务总数，也作为监视runState的锁
volatile AtomicLong stealCounter; // also used as sync monitor
//通用的执行器，它在静态块中初始化
static final ForkJoinPool common;
五、WorkQueue
5.1 类结构及其成员变量
5.1.1 类结构和注释
WorkQueue是ForkJoinPool的核心内部类，是一个Contented修饰的静态内部类。
/**
* Queues supporting work-stealing as well as external task
* submission. See above for descriptions and algorithms.
* Performance on most platforms is very sensitive to placement of
* instances of both WorkQueues and their arrays -- we absolutely
* do not want multiple WorkQueue instances or multiple queue
* arrays sharing cache lines. The @Contended annotation alerts
* JVMs to try to keep instances apart.
*/
@sun.misc.Contended
static final class WorkQueue {
}
其注释大意为：
workQUeue是一个支持任务窃取和外部提交任务的队列，其实现参考ForkJoinPool描述的算法。在大多数平台上的性能对工作队列及其数组的实例都非常敏感。我们不希望多个工作队列的实例和多个队列数组共享缓存。@Contented注释用来提醒jvm将workQueue在执行的时候与其他对象进行区别。
@Contented，实际上就是采用内存对齐的方式避免伪共享，保证WorkQueue在执行的时候，其前后不会有其他对象干扰。
注：JVM 添加 -XX:-RestrictContended 参数后 @sun.misc.Contended 注解才有效）
5.1.2 MAXIMUM_QUEUE_CAPACITY
MAXIMUM_QUEUE_CAPACITY注释如下：
/**
* Maximum size for queue arrays. Must be a power of two less
* than or equal to 1 << (31 - width of array entry) to ensure
* lack of wraparound of index calculations, but defined to a
* value a bit less than this to help users trap runaway
* programs before saturating systems.
*/
static final int MAXIMUM_QUEUE_CAPACITY = 1 << 26; // 64M
MAXIMUM_QUEUE_CAPACITY是队列支持的最大容量，必须是2的幂小于或等于1<<（31-数组项的宽度），但定义为一个略小于此值的值，以帮助用户在饱和系统之前捕获失控的程序。
5.1.3 成员变量
成员变量区如下：
@sun.misc.Contended
static final class WorkQueue {
//队列的初始容量
static final int INITIAL_QUEUE_CAPACITY = 1 << 13;
// 64M 队列的最大容量
static final int MAXIMUM_QUEUE_CAPACITY = 1 << 26; // 64M
// Instance fields
volatile int scanState; // versioned, <0: inactive; odd:scanning
int stackPred; // pool stack (ctl) predecessor
int nsteals; // number of steals
int hint; // randomization and stealer index hint
int config; // pool index and mode
volatile int qlock; // 1: locked, < 0: terminate; else 0
volatile int base; // index of next slot for poll
int top; // index of next slot for push
ForkJoinTask<?>[] array; // the elements (initially unallocated)
final ForkJoinPool pool; // the containing pool (may be null)
final ForkJoinWorkerThread owner; // owning thread or null if shared
volatile Thread parker; // == owner during call to park; else null
volatile ForkJoinTask<?> currentJoin; // task being joined in awaitJoin
volatile ForkJoinTask<?> currentSteal; // mainly used by helpStealer
}
-
scanState：它可以看作是乐观锁的版本号，另外它还有此其他功能，它为负数时，表示工作者线程非活动，它为奇数是表示，正在扫描（准备窃取）任务，它为偶数是表示正在执行任务。
-
stackPred：表示在线程池栈当前工作线程的前驱线程的索引。在唤醒线程时常用到此属性。
-
nsteals：表示owner线程窃取的任务数。
-
hint：任务窃取时的随机定位种子。
-
config：低16位表示，当前WorkerQueue对象在外部类的数组属性workQueues中的索引(下标) 。高16位表示当前WorkerQueue对象的模式。对于内部任务，若构造方法配置为异步模式就将WorkQueue当作先进先出的队列，反之将WorkQueue当作后进先出的栈。对于外部任务，将WorkQueue视为共享队列。
-
qlock：初始值为0，”=1“时表示当前WorkerQueue对象被锁住，” < 0“时 表示当前WorkerQueue对象已终止，队列中的其他未完成任务将不再被执行。
-
base：表示下次对任务数组array进行poll出队操作(窃取任务)的槽位索引(队尾)。
-
top：表示下次任务数组array进行push入栈操作(添加任务)的槽位索引(栈顶)。
-
array：非学重要的属性，这用是保存任务的数组(容器)。
-
pool：与之关联的ForkJoinPool执行器,它可能为空。若为空，就使用静态变量common作为执行器。
-
owner：当前队列对应的工作者线程，它一般不为空。若从外部提交任务时，当前WorkerQueue对象表示共享队列，owner为空。
-
parker：阻塞的线程。在被阻塞的时候，它等于owner，其他时候它为空。
-
currentJoin：表示当前正在join的任务，主要在awaitJoin方法使用。
-
currentSteal：表示当前被窃取的任务，主要在helpStealer方法中使用。
5.2 构造函数
WorkQueue就一个构造函数：
WorkQueue(ForkJoinPool pool, ForkJoinWorkerThread owner) {
this.pool = pool;
this.owner = owner;
// Place indices in the center of array (that is not yet allocated)
base = top = INITIAL_QUEUE_CAPACITY >>> 1;
}
在这个构造函数中，只会指定pool和owoner，如果该队列是共享队列，那么owoner此时是空的。此外，base和top两个指针分别都指向了数组的中值，这个值是初始化容量右移一位。
那么结合前面的代码，实际上初始化的时候，数组的长度为8192，那么base=top=4096。
这个数组在构造函数被调用之后初始化如下：
5.3 重要的方法
5.3.1 push
当ForkJoinWorkerThread需要向双端队列中放入一个新的待执行子任务时，会调用WorkQueue中的push方法。来看看这个方法的主要执行过程（请注意，源代码来自JDK1.8，它和JDK1.7中的实现有显著不同）：
/**
* Pushes a task. Call only by owner in unshared queues. (The
* shared-queue version is embedded in method externalPush.)
*
* @param task the task. Caller must ensure non-null.
* @throws RejectedExecutionException if array cannot be resized
*/
final void push(ForkJoinTask<?> task) {
ForkJoinTask<?>[] a; ForkJoinPool p;
int b = base, s = top, n;
// 请注意，在执行task.fork时，触发push情况下，array不会为null
// 因为在这之前workqueue中的array已经完成了初始化（在工作线程初始化时就完成了）
if ((a = array) != null) { // ignore if queue removed
//m为最高为位置的index
int m = a.length - 1; // fenced write for task visibility
// U常量是java底层的sun.misc.Unsafe操作类
// 这个类提供硬件级别的原子操作
// putOrderedObject方法在指定的对象a中，指定的内存偏移量的位置，赋予一个新的元素
U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task);
// putOrderedInt方法对当前指定的对象中的指定字段，进行赋值操作
// 这里的代码意义是将workQueue对象本身中的top标示的位置 + 1，
U.putOrderedInt(this, QTOP, s + 1);
//如果n小于等于1则 且poll不为空 则触发worker窃取或者产生新的worker
if ((n = s - b) <= 1) {
if ((p = pool) != null)
// signalWork方法的意义在于，在当前活动的工作线程过少的情况下，创建新的工作线程
p.signalWork(p.workQueues, this);
}
//如果n大于等于了m 则说明需要扩容了, array的剩余空间不够了
else if (n >= m)
growArray();
}
}
这个push方法是提供给工作队列自己push任务来使用的，共享队列push任务是在外部externalPush和externalSubmit等方法来进行初始化和push。
这里需要注意的是，当队列中的任务数小于1的时候，才会调用signalWork，这个地方一开始并不理解，实际上，我们需要注意的是，这个方法是专门提供给工作队列来使用的，那么这个条件满足的时候，说明工作队列空闲。如果这个条件不满足，那么工作队列中有很多任务需要工作队列来处理，就不会触发对这个队列的窃取操作。
5.3.2 growArray
这是扩容的方法。实际上这个方法有两个作用，首先是初始化，其次是判断，是否需要扩容，如果需要扩容则容量加倍。
/**
* Initializes or doubles the capacity of array. Call either
* by owner or with lock held -- it is OK for base, but not
* top, to move while resizings are in progress.
*/
final ForkJoinTask<?>[] growArray() {
//旧的数组 oldA
ForkJoinTask<?>[] oldA = array;
//如果oldA不为空，则size就为oldA的长度*2，反之说明数组没有被初始化，那么长度就应该为初始化的长度8192
int size = oldA != null ? oldA.length << 1 : INITIAL_QUEUE_CAPACITY;
//如果size比允许的最大容量还大，那么此时会抛出异常
if (size > MAXIMUM_QUEUE_CAPACITY)
throw new RejectedExecutionException("Queue capacity exceeded");
int oldMask, t, b;
//array a 为根据size new出来的一个新的数组
ForkJoinTask<?>[] a = array = new ForkJoinTask<?>[size];
//如果oldA不为空且其长度大于等于0为有效数组，且top-base大于0 说明不为空
if (oldA != null && (oldMask = oldA.length - 1) >= 0 &&
(t = top) - (b = base) > 0) {
//按size定义掩码
int mask = size - 1;
//从旧的数组中poll全部task，然后push到新的array中
do { // emulate poll from old array, push to new array
ForkJoinTask<?> x;
//采用unsafe操作
int oldj = ((b & oldMask) << ASHIFT) + ABASE;
int j = ((b & mask) << ASHIFT) + ABASE;
//实际上直接进行的内存对象copy，这样效率比循环调用push和poll要高很多
x = (ForkJoinTask<?>)U.getObjectVolatile(oldA, oldj);
//判断 x不为空 则使用unsafe进行操作
if (x != null &&
U.compareAndSwapObject(oldA, oldj, x, null))
U.putObjectVolatile(a, j, x);
} while (++b != t);
}
//返回新的数组
return a;
}
需要注意的是，这个方法一旦调用进行扩容之后，无论是来自于外部push操作触发，还是有工作线程worker触发，都将被锁定，之后，不能移动top指针，但是base指针是可以移动的。这也就是说，一旦处于扩容的过程中，就不能新增task，但是可以从base进行消费，这就只支持FIFO。因此同步模式将在此时被阻塞。
5.3.3 pop
同样，pop操作也仅限于工作线程，对于共享对立中则不允许使用pop方法。这个方法将按LIFO后进先出的方式从队列中。
/**
* Takes next task, if one exists, in LIFO order. Call only
* by owner in unshared queues.
*/
final ForkJoinTask<?> pop() {
ForkJoinTask<?>[] a; ForkJoinTask<?> t; int m;
//如果array不为空切长度大于0
if ((a = array) != null && (m = a.length - 1) >= 0) {
//循环，s为top的指针减1，即top减1之后要大于0 也就是说要存在task
for (int s; (s = top - 1) - base >= 0;) {
//计算unsafe的偏移量 得到s的位置
long j = ((m & s) << ASHIFT) + ABASE;
//如果这个索引处的对象为空，则退出
if ((t = (ForkJoinTask<?>)U.getObject(a, j)) == null)
break;
//反之用usafe的方法将这个值取走，之后返回，并更新top的指针
if (U.compareAndSwapObject(a, j, t, null)) {
U.putOrderedInt(this, QTOP, s);
return t;
}
}
}
return null;
}
pop方法，这是仅限于owoner调用的方法，将从top指针处取出task。这个方法对于整个队列是LIFO的方式。
5.3.4 poll
poll方法将从队列中按FIFO的方式取出task。
/**
* Takes next task, if one exists, in FIFO order.
*/
final ForkJoinTask<?> poll() {
ForkJoinTask<?>[] a; int b; ForkJoinTask<?> t;
//判断 base-top小于0说明存在task 切array不为空
while ((b = base) - top < 0 && (a = array) != null) {
//计算出unsafe操作的索引 实际上就是拿到b
int j = (((a.length - 1) & b) << ASHIFT) + ABASE;
//之后拿到这个task 用volatile的方式
t = (ForkJoinTask<?>)U.getObjectVolatile(a, j);
//之后如果base和b相等
if (base == b) {
//如果拿到的task不为空
if (t != null) {
//那么将这个位置的元素移除 base+1 然后返回t
if (U.compareAndSwapObject(a, j, t, null)) {
base = b + 1;
return t;
}
}
//在上述操作之后，如果base比top小1说明已经为空了 直接退出循环
else if (b + 1 == top) // now empty
break;
}
}
//默认返回null
return null;
}
5.3.5 pollAt
这个方法将采用FIFO的方式，从 队列中获得task。
/**
* Takes a task in FIFO order if b is base of queue and a task
* can be claimed without contention. Specialized versions
* appear in ForkJoinPool methods scan and helpStealer.
*/
final ForkJoinTask<?> pollAt(int b) {
ForkJoinTask<?> t; ForkJoinTask<?>[] a;
//数组不为空
if ((a = array) != null) {
//计算索引b的位置
int j = (((a.length - 1) & b) << ASHIFT) + ABASE;
//如果此处的task不为空，则将此处置为null然后将对象task返回
if ((t = (ForkJoinTask<?>)U.getObjectVolatile(a, j)) != null &&
base == b && U.compareAndSwapObject(a, j, t, null)) {
base = b + 1;
return t;
}
}
return null;
}
通常情况下，b指的是队列的base指针。那么从底部获取元素就能实现FIFO。特殊的版本出现在scan和helpStealer中用于对工作队列的窃取操作的实现。
5.3.6 nextLocalTask
/**
* Takes next task, if one exists, in order specified by mode.
*/
final ForkJoinTask<?> nextLocalTask() {
return (config & FIFO_QUEUE) == 0 ? pop() : poll();
}
这个方法中对之前的MODE会起作用，如果是FIFO则用pop方法，反之则用poll方法获得下一个task。
5.3.7 peek
/**
* Returns next task, if one exists, in order specified by mode.
*/
final ForkJoinTask<?> peek() {
ForkJoinTask<?>[] a = array; int m;
//判断数组的合法性
if (a == null || (m = a.length - 1) < 0)
return null;
//根据mode决定从top还是base处获得task
int i = (config & FIFO_QUEUE) == 0 ? top - 1 : base;
int j = ((i & m) << ASHIFT) + ABASE;
//返回获得的task
return (ForkJoinTask<?>)U.getObjectVolatile(a, j);
}
peek则根据之前的mode定义，从队列的前面或者后面取得task。
5.3.8 tryUnpush
/**
* Pops the given task only if it is at the current top.
* (A shared version is available only via FJP.tryExternalUnpush)
*/
final boolean tryUnpush(ForkJoinTask<?> t) {
ForkJoinTask<?>[] a; int s;
//判断数组的合法性
if ((a = array) != null && (s = top) != base &&
//将top位置的task与t比较，如果相等则将其改为null
U.compareAndSwapObject
(a, (((a.length - 1) & --s) << ASHIFT) + ABASE, t, null)) {
//将top减1
U.putOrderedInt(this, QTOP, s);
//返回操作成功
return true;
}
//默认返回失败
return false;
}
这个方法是将之前push的任务撤回。这个操作仅仅只有task位于top的时候操能成功。
5.3.9 runTask
在之前的文章分析外部提交task的时候，就提到了这个方法。实际上是runWorker调用的。
也就是说，线程在启动之后，一旦worker获取到task，就会运行。
/**
* Executes the given task and any remaining local tasks.
*/
final void runTask(ForkJoinTask<?> task) {
//task不为空
if (task != null) {
//扫描状态标记为busy 那么说明当前的worker正在处理本地任务 此时这个操作会将scanState改为0
scanState &= ~SCANNING; // mark as busy
//执行这个task
(currentSteal = task).doExec();
//释放已执行任务的内存
U.putOrderedObject(this, QCURRENTSTEAL, null); // release for GC
//执行其他本地的task
execLocalTasks();
ForkJoinWorkerThread thread = owner;
//增加增加steals的次数
if (++nsteals < 0) // collect on overflow
transferStealCount(pool);
//将scanState改为1 这样就变得活跃可以被其他worker scan
scanState |= SCANNING;
//如果thread不为null说明为worker线程 则调用后续的exec方法
if (thread != null)
thread.afterTopLevelExec();
}
}
5.3.10 execLocalTasks
调用这个方法，运行队列中的全部task，如果采用了LIFO模式，则调用pollAndExecAll，这是另外一种实现方法。直到将队列都执行到empty
/**
* Removes and executes all local tasks. If LIFO, invokes
* pollAndExecAll. Otherwise implements a specialized pop loop
* to exec until empty.
*/
final void execLocalTasks() {
int b = base, m, s;
//拿到数组
ForkJoinTask<?>[] a = array;
//如果b-s小于0说明存在task，a不为空，切a的长度大于0 这均是检测方法的合法性
if (b - (s = top - 1) <= 0 && a != null &&
(m = a.length - 1) >= 0) {
//如果没有采用FIFO的mode 那么一定是LIFO 则从top处开始
if ((config & FIFO_QUEUE) == 0) {
//开始循环
for (ForkJoinTask<?> t;;) {
//从top开始取出task
if ((t = (ForkJoinTask<?>)U.getAndSetObject
(a, ((m & s) << ASHIFT) + ABASE, null)) == null)
break;
//修改top
U.putOrderedInt(this, QTOP, s);
//执行task
t.doExec();
//如果没有任务的了 则退出
if (base - (s = top - 1) > 0)
break;
}
}
else
//FIFO的方式调用pollAndExecAll
pollAndExecAll();
}
}
5.3.11 pollAndExecAll
此方法将用poll，FIFO的方式获得task并执行。
final void pollAndExecAll() {
for (ForkJoinTask<?> t; (t = poll()) != null;)
t.doExec();
}
可见，当通过workQueue中调用runTask的方法的时候，会将这个队列的scanState状态修改为0，之后将这个队列中的全部task根据定义的mode全部消费完毕。
5.3.12 tryRemoveAndExec
从注释中可知，这个方法仅仅供awaitJoin方法调用，在await的过程中，将task从workQueue中移除并执行。
/**
* If present, removes from queue and executes the given task,
* or any other cancelled task. Used only by awaitJoin.
*
* @return true if queue empty and task not known to be done
*/
final boolean tryRemoveAndExec(ForkJoinTask<?> task) {
ForkJoinTask<?>[] a; int m, s, b, n;
//判断数组的合法性 task不能为空
if ((a = array) != null && (m = a.length - 1) >= 0 &&
task != null) {
//循环 n为task的数量，必须大于0
while ((n = (s = top) - (b = base)) > 0) {
//死循环 从top遍历到base
for (ForkJoinTask<?> t;;) { // traverse from s to b
long j = ((--s & m) << ASHIFT) + ABASE;
if ((t = (ForkJoinTask<?>)U.getObject(a, j)) == null)
return s + 1 == top; // shorter than expected
//如果task处于top位置
else if (t == task) {
boolean removed = false;
if (s + 1 == top) { // pop
//pop的方式获取task 然后替换为null
if (U.compareAndSwapObject(a, j, task, null)) {
U.putOrderedInt(this, QTOP, s);
removed = true;
}
}
//用emptytask代替
else if (base == b) // replace with proxy
removed = U.compareAndSwapObject(
a, j, task, new EmptyTask());
//如果remove成功 则执行这个task
if (removed)
task.doExec();
break;
}
//如果task的status为负数 切 top=s=1
else if (t.status < 0 && s + 1 == top) {
//移除
if (U.compareAndSwapObject(a, j, t, null))
U.putOrderedInt(this, QTOP, s);
break; // was cancelled
}
if (--n == 0)
return false;
}
if (task.status < 0)
return false;
}
}
return true;
}
5.3.13 popCC
如果pop CountedCompleter。这方法支持共享和worker的队列，但是仅仅通过helpComplete调用。
CountedCompleter是jdk1.8中新增的一个ForkJoinTask的一个实现类。
/**
* Pops task if in the same CC computation as the given task,
* in either shared or owned mode. Used only by helpComplete.
*/
final CountedCompleter<?> popCC(CountedCompleter<?> task, int mode) {
int s; ForkJoinTask<?>[] a; Object o;
//判断队列数组合法性
if (base - (s = top) < 0 && (a = array) != null) {
//从top处开始
long j = (((a.length - 1) & (s - 1)) << ASHIFT) + ABASE;
//如果获的的task不为null
if ((o = U.getObjectVolatile(a, j)) != null &&
//且为CountedCompleter对象
(o instanceof CountedCompleter)) {
//转换为CountedCompleter
CountedCompleter<?> t = (CountedCompleter<?>)o;
//死循环
for (CountedCompleter<?> r = t;;) {
//如果task与获得的r相等为同一对象
if (r == task) {
//如果mode小于0
if (mode < 0) { // must lock
//cas的方式加锁
if (U.compareAndSwapInt(this, QLOCK, 0, 1)) {
//将这个对象清除 并修改top后解锁
if (top == s && array == a &&
U.compareAndSwapObject(a, j, t, null)) {
U.putOrderedInt(this, QTOP, s - 1);
U.putOrderedInt(this, QLOCK, 0);
//返回t
return t;
}
//解锁
U.compareAndSwapInt(this, QLOCK, 1, 0);
}
}
else if (U.compareAndSwapObject(a, j, t, null)) {
U.putOrderedInt(this, QTOP, s - 1);
return t;
}
break;
}
else if ((r = r.completer) == null) // try parent
break;
}
}
}
return null;
}
5.3.14 pollAndExecCC
pollAndExecCC 。窃取并运行与给定任务相同CountedCompleter计算任务（如果存在），并且可以在不发生争用的情况下执行该任务。否则，返回一个校验和/控制值，供helpComplete方法使用。
/**
* Steals and runs a task in the same CC computation as the
* given task if one exists and can be taken without
* contention. Otherwise returns a checksum/control value for
* use by method helpComplete.
*
* @return 1 if successful, 2 if retryable (lost to another
* stealer), -1 if non-empty but no matching task found, else
* the base index, forced negative.
*/
final int pollAndExecCC(CountedCompleter<?> task) {
int b, h; ForkJoinTask<?>[] a; Object o;
//判断array的合法性
if ((b = base) - top >= 0 || (a = array) == null)
h = b | Integer.MIN_VALUE; // to sense movement on re-poll
else {
//从base开始获得task
long j = (((a.length - 1) & b) << ASHIFT) + ABASE;
if ((o = U.getObjectVolatile(a, j)) == null)
h = 2; // retryable
else if (!(o instanceof CountedCompleter))
h = -1; // unmatchable
else {
CountedCompleter<?> t = (CountedCompleter<?>)o;
//死循环
for (CountedCompleter<?> r = t;;) {
if (r == task) {
if (base == b &&
U.compareAndSwapObject(a, j, t, null)) {
base = b + 1;
t.doExec();
h = 1; // success
}
else
h = 2; // lost CAS
break;
}
else if ((r = r.completer) == null) {
h = -1; // unmatched
break;
}
}
}
}
return h;
}
externalPush方法中的“q = ws[m & r & SQMASK]”代码非常重要。我们大致来分析一下作者的意图，首先m是ForkJoinPool中的WorkQueue数组长度减1，例如当前WorkQueue数组大小为16，那么m的值就为15；r是一个线程独立的随机数生成器，关于java.util.concurrent.ThreadLocalRandom类的功能和使用方式可参见其它资料；而SQMASK是一个常量，值为126 （0x7e）。以下是一种可能的计算过程和计算结果：
实际上任何数和126进行“与”运算，其结果只可能是0或者偶数，即0、2、4、6、8。也就是说以上代码中从名为“ws”的WorkQueue数组中，取出的元素只可能是第0个或者第偶数个队列。
结论就是偶数是外部任务，奇数是需要拆解合并的任务。
ForkJoinWorkerThread需要从双端队列中取出下一个待执行子任务，就会根据设定的asyncMode调用双端队列的不同方法，代码概要如下所示：
final ForkJoinTask<?> nextTaskFor(WorkQueue w) {
for (ForkJoinTask<?> t;;) {
WorkQueue q; int b;
// 该方法试图从“w”这个队列获取下一个待处理子任务
if ((t = w.nextLocalTask()) != null)
return t;
// 如果没有获取到，则使用findNonEmptyStealQueue方法
// 随机得到一个元素非空，并且可以进行任务窃取的存在于ForkJoinPool中的其它队列
// 这个队列被记为“q”
if ((q = findNonEmptyStealQueue()) == null)
return null;
// 试图从“q”这个队列base位处取出待执行任务
if ((b = q.base) - q.top < 0 && (t = q.pollAt(b)) != null)
return t;
}
}
六、总结
本文对workQueue的源码进行了分析，我们需要注意的是，对于workQueue，定义了三个操作，分别是push，poll和pop。
-
push
主要是操作top指针，将top进行移动。
-
poll
如果top和base不等，则说明队列有值，可以消费，那么poll就从base指针处开始消费。这个方法实现了队列的FIFO。
消费之后对base进行移动。
-
pop
同样，还可以从top开始消费，这就是pop。这个方法实际上实现了对队列的LIFO。
消费之后将top减1。
以上就是这三个方法对应的操作。但是我们还需要注意的是，在所有的unsafe操作中，通过cas进行设置或者获得task的时候，还有一个掩码。这个非常重要。
我们可以看在push方法中：
int m = a.length - 1;
U.putOrderedObject(a, ((m & s) << ASHIFT) + ABASE, task);
在扩容的方法growArray中我们可以知道。每次扩容都是采用左移的方式来进行，这样就保证了数组的长度为2的幂。
在这里，m=a.length-1，那就说明，m实际上其二进制格式将会有效位都为1,这个数字就可以做为掩码。当m再与s取&计算的时候。可以想象，s大于m的部分将被去除，只会保留比m小的部分。那么实际上，这就等价于，当我们一直再push元素到数组中的时候，实际上就从数组的索引底部开始：
参考上面这个过程，也就是说，实际上这个数组，base和top实际指向的index并不重要。只有二者的相对位移才是重要的。这有点类似与RingBuffer的数据结构，但是还是有所不同。也就是说这个数组实际上是不会被浪费的。之前有很多不理解的地方，为什么top减去base可能出现负数。那么这样实际上就会导致负数的产生。
这样的话，如果我们采用异步模式，asyncMode为true的时候，workQueue则会采用FIFO_QUEUE的model，这样workQueue本身就使用的时poll方法。反之如果使用LIFO_QUEUE的同步模式，则workQueue使用pop方法。默认情况下采用同步模式。同步的时候workQueue的指针都围绕在数组的初始化的中间位置波动。而共享队列则会一直循环。
至此，我们分析了workQueue的源码，对其内部实现的双端队列本身的操作进行了分析。为什么作者会自己实现一个Deque，而不是使用juc中已存在的容器。这就是因为这个队列全程都是采用Unsafe来实现的，在开篇作者也说了，需要@Contented修饰，就是为了避免缓存的伪代共享。这样来实现一个高效的Deque，以供ForkJoinPool来操作。
这与学习ConcurrentHashMap等容器的源码一样，可以看出作者为了性能的优化，采用了很多独特的方式来实现。这些地方都是我们值得学习和借鉴之处。这也是ForkJoin性能高效的关键。在作者的论文中也可以看出，java的实现，由于抽象在jvm之上，性能比c/c++的实现要低很多。这也是作者尽可能将性能做到最优的原因之一。
参考：
https://blog.csdn.net/Xiaowu_First/article/details/122407019
https://blog.csdn.net/tyrroo/article/details/81483608
https://www.cnblogs.com/juniorMa/articles/14234472.html
网友评论