异步调用如何使用最好？

作者: 我犟不过你 | 来源:发表于2021-09-13 14:24 被阅读0次

一、异步调用方式分析

今天在写代码的时候，想要调用异步的操作，这里我是用的java8的流式异步调用，但是使用过程中呢，发现这个异步方式有两个方法，如下所示：

image.png

区别是一个需要指定线程池，一个不需要。

那么指定线程池有哪些好处呢？直观的说有以下两点好处：
1、可以根据我们的服务器性能，通过池的管理更好的规划我们的线程数。
2、可以对我们使用的线程自定义名称，这里也是阿里java开发规范所提到的。

1.1 java8异步调用默认线程池方式

当然常规使用默认的也没什么问题。我们通过源码分析下使用默认线程池的过程。

   public static CompletableFuture<Void> runAsync(Runnable runnable) {
        return asyncRunStage(asyncPool, runnable);
    }

看下这个asyncPool是什么？如下所示，useCommonPool如果为真，就使用ForkJoinPool.commonPool()，否则创建一个new ThreadPerTaskExecutor()：

    private static final Executor asyncPool = useCommonPool ?
        ForkJoinPool.commonPool() : new ThreadPerTaskExecutor();

看看useCommonPool 是什么？

    private static final boolean useCommonPool =
        (ForkJoinPool.getCommonPoolParallelism() > 1);

  /**
    * 公共池的目标并行度级别
    */
    public static int getCommonPoolParallelism() {
        return commonParallelism;
    }

最终这个并行级别并没有给出默认值

static final int commonParallelism;

通过找到这个常量的调用，我们看看是如何进行初始化的，在ForkJoinPool中有一个静态代码块，启动时会对commonParallelism进行初始化，我们只关注最后一句话就好了，：

    // Unsafe mechanics
    private static final sun.misc.Unsafe U;
    private static final int  ABASE;
    private static final int  ASHIFT;
    private static final long CTL;
    private static final long RUNSTATE;
    private static final long STEALCOUNTER;
    private static final long PARKBLOCKER;
    private static final long QTOP;
    private static final long QLOCK;
    private static final long QSCANSTATE;
    private static final long QPARKER;
    private static final long QCURRENTSTEAL;
    private static final long QCURRENTJOIN;

    static {
        // initialize field offsets for CAS etc
        try {
            U = sun.misc.Unsafe.getUnsafe();
            Class<?> k = ForkJoinPool.class;
            CTL = U.objectFieldOffset
                (k.getDeclaredField("ctl"));
            RUNSTATE = U.objectFieldOffset
                (k.getDeclaredField("runState"));
            STEALCOUNTER = U.objectFieldOffset
                (k.getDeclaredField("stealCounter"));
            Class<?> tk = Thread.class;
            PARKBLOCKER = U.objectFieldOffset
                (tk.getDeclaredField("parkBlocker"));
            Class<?> wk = WorkQueue.class;
            QTOP = U.objectFieldOffset
                (wk.getDeclaredField("top"));
            QLOCK = U.objectFieldOffset
                (wk.getDeclaredField("qlock"));
            QSCANSTATE = U.objectFieldOffset
                (wk.getDeclaredField("scanState"));
            QPARKER = U.objectFieldOffset
                (wk.getDeclaredField("parker"));
            QCURRENTSTEAL = U.objectFieldOffset
                (wk.getDeclaredField("currentSteal"));
            QCURRENTJOIN = U.objectFieldOffset
                (wk.getDeclaredField("currentJoin"));
            Class<?> ak = ForkJoinTask[].class;
            ABASE = U.arrayBaseOffset(ak);
            int scale = U.arrayIndexScale(ak);
            if ((scale & (scale - 1)) != 0)
                throw new Error("data type scale not a power of two");
            ASHIFT = 31 - Integer.numberOfLeadingZeros(scale);
        } catch (Exception e) {
            throw new Error(e);
        }

        commonMaxSpares = DEFAULT_COMMON_MAX_SPARES;
        defaultForkJoinWorkerThreadFactory =
            new DefaultForkJoinWorkerThreadFactory();
        modifyThreadPermission = new RuntimePermission("modifyThread");

        common = java.security.AccessController.doPrivileged
            (new java.security.PrivilegedAction<ForkJoinPool>() {
                public ForkJoinPool run() { return makeCommonPool(); }});
         // 即使线程被禁用也是1，至少是个1
        int par = common.config & SMASK;
        commonParallelism = par > 0 ? par : 1;
    }

如下所示，默认是7：

image.png

所以接着下面的代码看：

    private static final boolean useCommonPool =
        (ForkJoinPool.getCommonPoolParallelism() > 1);

这里一定是返回true，证明当前是并行的。

    private static final Executor asyncPool = useCommonPool ?
        ForkJoinPool.commonPool() : new ThreadPerTaskExecutor();

上面会返回一个大小是七的的默认线程池

image.png

其实这个默认值是当前cpu的核心数，我的电脑是八核，在代码中默认会将核心数减一，所以显示是七个线程。

        if (parallelism < 0 && //默认是1，小于核心数
            (parallelism = Runtime.getRuntime().availableProcessors() - 1) <= 0)
            parallelism = 1;
        if (parallelism > MAX_CAP)
            parallelism = MAX_CAP;

下面我们写个main方法测试一下，10个线程，每个阻塞10秒，看结果：

    public static void main(String[] args) {
        // 创建10个任务，每个任务阻塞10秒
        for (int i = 0; i < 10; i++) {
            CompletableFuture.runAsync(() -> {
                try {
                    Thread.sleep(10000);
                    System.out.println(new Date() + ":" + Thread.currentThread().getName());
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            });
        }

        try {
            Thread.sleep(30000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

结果如下所示，前面七个任务先完成，另外三个任务被阻塞10秒后，才完成：

Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-5
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-4
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-2
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-7
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-3
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-6
Mon Sep 13 11:20:57 CST 2021:ForkJoinPool.commonPool-worker-1
-----------------------------------------------------------  
Mon Sep 13 11:21:07 CST 2021:ForkJoinPool.commonPool-worker-2
Mon Sep 13 11:21:07 CST 2021:ForkJoinPool.commonPool-worker-5
Mon Sep 13 11:21:07 CST 2021:ForkJoinPool.commonPool-worker-4

结论：当我们使用默认的线程池进行异步调用时，如果异步任务是一个IO密集型，简单说处理时间占用长，将导致其他使用共享线程池的任务阻塞，造成系统性能下降甚至异常。甚至当一部调用接口时，如果接口超时，那么也会阻塞与超时市场相同的时间。实际在计算密集的场景下使用是能提高性能的。

二、使用自定义的线程池

上面说到如果是IO密集型的场景，在异步调用时还是使用自定义线程池比较好。

针对开篇提到的两个显而易见的好处，此处新增一条：
1、可以根据我们的服务器性能，通过池的管理更好的规划我们的线程数。
2、可以对我们使用的线程自定义名称，这里也是阿里java开发规范所提到的。
3、不会因为阻塞导致使用共享线程池的其他线程阻塞甚至异常。

我们自定义下面的线程池：

import cn.hutool.core.thread.NamedThreadFactory;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

/**
 * @description： 全局通用线程池
 * @author：weirx
 * @date：2021/9/9 18:09
 * @version：3.0
 */
@Slf4j
public class GlobalThreadPool {

    /**
     * 核心线程数
     */
    public final static int CORE_POOL_SIZE = 10;

    /**
     * 最大线程数
     */
    public final static int MAX_NUM_POOL_SIZE = 20;

    /**
     * 任务队列大小
     */
    public final static int BLOCKING_QUEUE_SIZE = 30;

    /**
     * 线程池实例
     */
    private final static ThreadPoolExecutor instance = getInstance();


    /**
     * description: 初始化线程池
     *
     * @return: java.util.concurrent.ThreadPoolExecutor
     * @author: weirx
     * @time: 2021/9/10 9:49
     */
    private synchronized static ThreadPoolExecutor getInstance() {
        // 生成线程池
        ThreadPoolExecutor executor = new ThreadPoolExecutor(
                CORE_POOL_SIZE,
                MAX_NUM_POOL_SIZE,
                60,
                TimeUnit.SECONDS,
                new LinkedBlockingQueue<>(BLOCKING_QUEUE_SIZE),
                new NamedThreadFactory("Thread-Inbox-Model-", false));
        return executor;
    }

    private GlobalThreadPool() {
    }

    public static ThreadPoolExecutor getExecutor() {
        return instance;
    }
}

调用：

    public static void main(String[] args) {
        // 创建10个任务，每个任务阻塞10秒
        for (int i = 0; i < 10; i++) {
            CompletableFuture.runAsync(() -> {
                try {
                    Thread.sleep(10000);
                    System.out.println(new Date() + ":" + Thread.currentThread().getName());
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            },GlobalThreadPool.getExecutor());
        }

        try {
            Thread.sleep(30000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

输出我们指定线程名称的线程：

Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-1
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-10
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-2
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-9
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-5
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-6
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-3
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-7
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-8
Mon Sep 13 11:32:35 CST 2021:Thread-Inbox-Model-4

三、题外话，动态线程池

在我们使用线程池的时候，是否有的时候很纠结，到底设置多大的线程池参数是最合适的呢？如果不够用了怎么办，要改代码重新部署吗？

其实是不需要的，记得当初看过美团的一篇文章，真的让人茅塞顿开啊，动态线程池。

ThreadPoolExecutor这个类其实是提供对于线程池的属性进行修改的，支持我们动态修改一下的属性：

image.png

从上至下分别是线程工厂（用于指定线程名称）、核心线程数、最大线程数、活跃时间、拒绝策略。

在美团的文章当中呢，是监控服务器线程的使用lv，当达到阈值就进行告警，然后通过配置中心去动态修改这些数值。

我们也可以这么做，使用@RefreshScope加nacos就可以实现了。

我这呢写了一个定时任务监控当前服务的线程使用率，小了就扩容，一段时间后占用率下降，就恢复初始值。其实没有任何难度啊，当然还有很多地方需要改进的，请大家多提意见，话不多说：

import lombok.extern.slf4j.Slf4j;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;

import java.util.concurrent.ThreadPoolExecutor;

/**
 * @description： 全局线程池守护进程
 * @author：weirx
 * @date：2021/9/10 16:32
 * @version：3.0
 */
@Slf4j
@Component
public class DaemonThreadTask {

    /**
     * 服务支持最大线程数
     */
    public final static int SERVER_MAX_SIZE = 50;

    /**
     * 最大阈值Maximum threshold，百分比
     */
    private final static int MAXIMUM_THRESHOLD = 8;

    /**
     * 每次递增最大线程数
     */
    private final static int INCREMENTAL_MAX_NUM = 10;

    /**
     * 每次递增核心线程数
     */
    private final static int INCREMENTAL_CORE_NUM = 5;

    /**
     * 当前线程数
     */
    private static int currentSize = GlobalThreadPool.MAX_NUM_POOL_SIZE;

    /**
     * 当前核心线程数
     */
    private static int currentCoreSize = GlobalThreadPool.CORE_POOL_SIZE;

    @Scheduled(cron = "0 */5 * * * ?")
    public static void execute() {
        threadMonitor();
    }


    /**
     * description: 动态监控并设置线程参数
     *
     * @return: void
     * @author: weirx
     * @time: 2021/9/10 13:20
     */
    private static void threadMonitor() {
        ThreadPoolExecutor instance = GlobalThreadPool.getExecutor();
        int activeCount = instance.getActiveCount();
        int size = instance.getQueue().size();
        log.info("GlobalThreadPool: the active thread count is {}", activeCount);
        // 线程数不足，增加线程
        if (activeCount > GlobalThreadPool.MAX_NUM_POOL_SIZE % MAXIMUM_THRESHOLD
                && size >= GlobalThreadPool.BLOCKING_QUEUE_SIZE) {
            currentSize = currentSize + INCREMENTAL_MAX_NUM;
            currentCoreSize = currentCoreSize + INCREMENTAL_CORE_NUM;
            //当前设置最大线程数小于服务最大支持线程数才可以继续增加线程
            if (currentSize <= SERVER_MAX_SIZE) {
                instance.setMaximumPoolSize(currentSize);
                instance.setCorePoolSize(currentCoreSize);
                log.info("this max thread size is {}", currentSize);
            } else {
                log.info("current size is more than server max size, can not add");
            }
        }
        // 线程数足够，降低线程数，当前活跃数小于默认核心线程数
        if (activeCount < GlobalThreadPool.MAX_NUM_POOL_SIZE
                && size == 0
                && currentSize > GlobalThreadPool.MAX_NUM_POOL_SIZE) {
            currentSize = GlobalThreadPool.MAX_NUM_POOL_SIZE;
            currentCoreSize = GlobalThreadPool.CORE_POOL_SIZE;
            instance.setMaximumPoolSize(currentSize);
            instance.setCorePoolSize(currentCoreSize);
        }
    }
}

本文的简单分析就结束了，看到这了就给点个三连一下，点赞关注转发呗。

异步调用如何使用最好？

一、异步调用方式分析

1.1 java8异步调用默认线程池方式

二、使用自定义的线程池

三、题外话，动态线程池

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

方案

一些收藏

java多线程

Springboot

JVM · Java虚拟机原理 · JVM上语言·框架· 生态系统

java学习快到碗里来

Java 进阶

Java