美文网首页
Java如何控制线程并行执行数量

Java如何控制线程并行执行数量

作者: _男猪脚 | 来源:发表于2018-12-30 22:29 被阅读0次

有这样一种业务场景,从远端服务下载文件到本地,每个文件都10M+比较大,定时任务串行下载效率低下,所以考虑固定数量的线程并行去下载,这样可以控制对机器的资源消耗,同时提高下载吞吐量,对于这样的场景就需要控制线程同时执行时的数量。实现方式其实有多种,本人提供以下两种方式:

  1. 利用信号量(Semaphore ),通过acquire和release方法控制同时访问的线程个数。
public static void main(String[] args) {
        ExecutorService pool = Executors.newCachedThreadPool();
        // 创建给定个数的公平模式的信号量
        final Semaphore sp = new Semaphore(3, true);
        for (int i = 0; i < 10; i++) {
            Runnable runnable = new Runnable() {
                @Override
                public void run() {
                    try {
                        // 获取許可
                        sp.acquire();
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                    /* 业务逻辑处理 .... */
                
                    // 释放許可
                    sp.release();
                }
            };
            pool.execute(runnable);
        }
    }
  1. 自定义线程池,重写拒绝策略,提交任务至任务队列由非阻塞的offer方法改成阻塞的put方法,任务队列满了之后,后续提交的任务就会阻塞,这样就能够有效控制执行的线程数。
    /**
     * 创建固定大小的阻塞式的线程池, 并且指定工作队列大小
     * @param poolSize 线程个数
     * @param queueSize 队列大小
     * @return
     */
    public static ExecutorService newBlockingThreadPool(int poolSize, int queueSize) {
        if (poolSize < 2) {
            poolSize = DEFAULT_POOL_SIZE;
        }
        if (queueSize < poolSize) {
            queueSize = poolSize;
        }
        ExecutorService es = new ThreadPoolExecutor(poolSize, poolSize, 0L, TimeUnit.MILLISECONDS, 
                new LinkedBlockingQueue<Runnable>(queueSize), new RejectedExecutionHandler() {
            /**
              * 自定义拒绝策略, 当工作队列满时, 生产者调用put阻塞
             */
            @Override
            public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
                if (! executor.isShutdown()) {
                    try {
                        executor.getQueue().put(r);
                    } catch (InterruptedException e) {
                        Thread.currentThread().interrupt();
                        logger.error("Create blocking thread pool error !", e);
                    }
                }
            }
        });
        return es;
    } 

相关文章

  • Java如何控制线程并行执行数量

    有这样一种业务场景,从远端服务下载文件到本地,每个文件都10M+比较大,定时任务串行下载效率低下,所以考虑固定数量...

  • Java线程问题解读

    Java 并行线程问题 硬件问题 再看并行线程之前,我们先了解下程序执行的终端节点CPU是如何的执行指令的。 首...

  • 线程池是如何复用的

    问题:线程池是如何实现线程复用,如何并行执行多个任务的。简单:一般都是介绍,核心线程和最大线程数量,介绍创建线程的...

  • 常用的GCD记录一下

    子线程并行 串行 主线程 串行队列 子线程 并行队列 子线程 栅栏函数 控制执行顺序 避免数据竞争 多线...

  • storm并行度和executer数量,task数量关系

    并行度是executer数量,线程数 task数量可以大于并行度,这样会一个线程运行多个task,可以看看后面如何...

  • 多线程理论基础

    几个基础问题 cpu 核心和线程数 以前 现在 CPU 轮转机制 并发和并行 Java 默认就是多线程的 如何控制...

  • 线程串行并行调度实现

    线程串行并行调度实现 问题描述 问题描述:线程A、B、C并行执行,然后和线程D串行执行,如何实现。 问题具体化:现...

  • 2018-05-19

    java的多线程: 一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任...

  • 聊聊Java线程池那些事

    为什么使用线程池 线程池作用就是通过限制系统中执行线程的数量从而达到优化资源分配的目的。 控制执行线程的数量 假如...

  • Python多任务(高级编程六)

    并行:真的多任务 cpu大于当前执行的任务并发:假的多任务 cpu小于当前执行的任务 多线程 查看线程数量 thr...

网友评论

      本文标题:Java如何控制线程并行执行数量

      本文链接:https://www.haomeiwen.com/subject/bxyblqtx.html