美文网首页JAVA
记一次代码优化

记一次代码优化

作者: 阿里加多 | 来源:发表于2020-05-29 21:17 被阅读0次

一、前言

并发运行相比串行执行很好,因为其可以减少执行时间,但是并发用的不对,也会造成资源浪费,本文我们就来探究一例子。

二、案例介绍与优化

有这样一段代码,根据传递的url列表,并发的去下载url对于的文件内容,原来代码模拟如下:

//0
    private final static ThreadPoolExecutor EXECUTOR_SERVICE = new ThreadPoolExecutor(8, 8, 0L, TimeUnit.MILLISECONDS,
            new LinkedBlockingQueue<Runnable>(1));

    public static void main(String[] args) {

        // 1.创建图片列表
        List<String> imageList = new ArrayList<String>();
        for (int i = 0; i < 3; ++i) {
            imageList.add(i + "");
        }

        long start = System.currentTimeMillis();

        // 2.并发处理url
        Map<String, String> resultMap = imageList.parallelStream().collect(Collectors.toMap(url -> url, url -> {
            try {
                EXECUTOR_SERVICE.submit(() -> {
                    // 2.1模拟同步处理url,并返回结果
                    System.out.println(Thread.currentThread().getName() + " " + url);
                    Thread.sleep(30000);
                    return "jiaduo" + url;
                }).get();
            } catch (Exception e) {
                e.printStackTrace();
            }
            return "";
        }));

        // 3.打印结果
        long costs = System.currentTimeMillis() - start;
        System.out.println("result:" + costs + " " + JSON.toJSONString(resultMap));
        System.out.println("main is over");
    }
  • 如上代码0创建了一个线程个数为8的线程池。

  • 代码1创建了一个图片列表

  • 代码2意为使用并行流把图片url下载任务投递到线程池EXECUTOR_SERVICE后,通过流的collect方法,把url和url处理结果收集起来变成map返回。

  • 代码2.1我们模拟同步根据url下载文件,并返回处理结果。

  • 代码3则使用main线程打印整个处理耗时和处理结果。

如上代码,运行起来确实可以实现并发下载图片功能,但是里面有个细节,就是默认并行流使用的是对于这段代码来说,首先使用了并行流,而并行流默认使用的是ForkJoinPool中的commonPool,而该commonPool是真个JVM内单实例的,如果commonPool内的线程全部阻塞了,则其他使用它的地方将转换为调用线程来执行。

另外这里会导致多个commonPool中的线程处于阻塞状态等待异步任务执行完毕。这里假设imageList中有3个URL,则我们会有3个线程(一个main函数所在调用线程,2个commonpool中的线程)分别把下载图片任务投递到executorService,然后这3个线程各自调用了返回的future的get系列方法等待上传任务的完成,所以这会导致commonPool内的2个线程和调用线程被阻塞。

为了验证上面说法,大家运行上面代码,然后可以自行jstack线程堆栈,会发现如下:

首先我们会看到3个EXECUTOR_SERVICE线程池中的线程在执行图片下载任务:


image.png

然后我们会看到有两个commonPool中的线程,在等待投递到EXECUTOR_SERVICE中的两个任务执行完毕:


image.png

并且可以看到main线程也在等待投递到EXECUTOR_SERVICE中的一个任务的执行结果:


image.png

所以这里为了等待投递到线程池EXECUTOR_SERVICE中的三个任务执行完毕,耗费了三个线程。其实可以把上面代码改造为如下:

    private final static ThreadPoolExecutor EXECUTOR_SERVICE = new ThreadPoolExecutor(8, 8, 0L, TimeUnit.MILLISECONDS,
            new LinkedBlockingQueue<Runnable>(1));

    public static void main(String[] args) {

        // 1.创建图片列表
        List<String> imageList = new ArrayList<String>();
        for (int i = 0; i < 3; ++i) {
            imageList.add(i + "");
        }

        long start = System.currentTimeMillis();

        // 2.并发执行,并保持url对应的future
        Map<String, Future<String>> futureMap = imageList.stream().collect(Collectors.toMap(url -> url, url -> {
            return EXECUTOR_SERVICE.submit(() -> {
                // 2.1模拟rpc同步处理url,并返回结果
                System.out.println(Thread.currentThread().getName() + " " + url);
                Thread.sleep(300000);
                return "jiaduo" + url;
            });
        }));

        // 3.调用线程同步等待所有任务执行完毕
        Map<String, String> resultMap = futureMap.entrySet().stream()
                .collect(Collectors.toMap(entry -> entry.getKey(), entry -> {
                    try {
                        entry.getValue().get();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                    return "";
                }));

        // 3.打印结果
        long costs = System.currentTimeMillis() - start;
        System.out.println("result:" + costs + " " + JSON.toJSONString(resultMap));
        System.out.println("main is over");
    }
  • 如上代码2我们把图片下载任务投递到了线程池EXECUTOR_SERVICE后调用线程马上返回了对于的Future对象,然后我们通过流的collect方法把url和对应的future对象收集到了futureMap中,这个过程是异步的,不会阻塞调用线程。

  • 代码3 main线程则循环获取每个future的执行结果,并且通过流的collect方法把url和对应的future执行结果收集到map.

运行上面代码,我们会发现除了有EXECUTOR_SERVICE中的三个线程在执行文件下载任务外,只有一个main线程在等待全部任务执行完毕,相比原来方法节省了2个commonPool里面的线程。

三、总结

并发固然好,但是用不对则会起到副作用,本例中原来方法如果url列表很大,则会导致commonpool里面的线程打满,则当前jvm内其它使用commonpool的地方则会自动转换为调用线程来执行了,会起不到预设的效果。

更多技术分享,请扫描关注微信公众号:

file

相关文章

  • 记一次代码优化

    一、前言 并发运行相比串行执行很好,因为其可以减少执行时间,但是并发用的不对,也会造成资源浪费,本文我们就来探究一...

  • 记一次代码优化(C++)

    零 引言 最近做一个图形学项目的时候用到了signed diatance field(没找着这个词的中文翻译…如果...

  • atomic.Value代替sync.RWMutex

    记一次性能优化,读公司项目代码时候,发现好些使用sync.RWMutext的使用场景:项目启动时候对高频数据缓存到...

  • 一次代码优化

    这几天接了一个祖传代码,有段代码如下 中间赋值代码很多 去除了一部分无用代码。一开始没发现问题,因为开发和测试环境...

  • Python-02进阶-07代码优化技巧

    代码优化技巧 优化原则 核心技巧 其他技巧 Python 代码性能优化技巧 常用代码优化技巧 sort()优于so...

  • web前端开发编码规范及性能优化

    代码优化 这个部分仅仅将代码优化本身,不考虑性能,关于代码部分的性能优化在 页面渲染 部分 代码优化 中 HTML...

  • 编译器笔记46-代码优化-常用的代码优化方法

    优化的分类 机器无关优化: 针对中间代码 机器相关优化: 针对目标代码 局部代码优化: 单个基本块范围内的优化 全...

  • webpack打包优化

    记一次react项目优化的过程优化前,用uglifyjs-webpack-plugin插件压缩js后得到的大小,实...

  • java综合知识点(四,优化篇)

    优化篇 一、代码优化 代码结构层次的优化(目的:更加方便代码的维护--可维护性,可读性) 1.代码注释(代码规范)...

  • 编译原理系列之十 代码优化

    代码优化 代码优化可分为与机器有关的优化和与机器无关的优化。与机器有关的优化一般在目标代码上进行。与机器无关的优化...

网友评论

    本文标题:记一次代码优化

    本文链接:https://www.haomeiwen.com/subject/lzsfzhtx.html