Java内存优化之POI Excel（二）

问题背景及排查：Java内存优化之POI Excel（一）
其实除了内存调整，还做了策略上的调整，既然创建一整个数十万行的Excel比较耗内存，那我就分片创建呗，所谓分片就是将一个大的Excel分成几个小的Excel，然后打成Zip。

分片创建Excel

Talk is cheap, show me the code!

public String export() throws Exception {
        List<String> excelFileSplices = Lists.newArrayList();
        if (pageable) {
            // 可以分成几个Excel
            int pageCount = this.dataList.size() / PER_SPLICE_SIZE + 1;
            int index = 0;
            while (index < pageCount) {
                List<T> dataSplices = this.dataList.subList(index * PER_SPLICE_SIZE,
                        Math.min(this.dataList.size(), (index + 1) * PER_SPLICE_SIZE));
                String fileName = exportOne(dataSplices);
                excelFileSplices.add(fileName);
                index++;
            }
        } else {
            String fileName = exportOne(this.dataList, ignoredProperties);
            excelFileSplices.add(fileName);
        }

        log.info(excelFileSplices);

        if (excelFileSplices.size() == 1) {
            return excelFileSplices.get(0);
        } else {
            String zipFilePath = TMP_FILE + "/" + UUID.randomUUID().toString() + ".zip";
            ZipArchiveOutputStream zipArchiveOutputStream = null;
            InputStream is = null;
            try {
                zipArchiveOutputStream = new ZipArchiveOutputStream(new File(zipFilePath));
                zipArchiveOutputStream.setUseZip64(Zip64Mode.AsNeeded);
                for (String srcFilePath : excelFileSplices) {
                    File sourceFile = new File(srcFilePath);
                    ZipArchiveEntry zipArchiveEntry = new ZipArchiveEntry(sourceFile, sourceFile.getName());
                    zipArchiveOutputStream.putArchiveEntry(zipArchiveEntry);
                    is = new BufferedInputStream(new FileInputStream(sourceFile));
                    IOUtils.copy(is, zipArchiveOutputStream);
                    sourceFile.delete();
                }
                zipArchiveOutputStream.closeArchiveEntry();
            } finally {
                IOUtils.closeQuietly(is);
                IOUtils.closeQuietly(zipArchiveOutputStream);
            }
            return zipFilePath;
        }
    }

其实策略实现比较简单，就是将数据全部撸到内存（其实这些数据也占不了多少内存，只是创建Excel的时候消耗了大量内存），然后在内存分页，分别创建Excel，最后将Excel达成Zip包上传到七牛。

不妥协的DaYe

WO: 以后下载清单会是压缩包了，会麻烦一点点...
DaYe：我们要这个就是为了简单吗 ，你还麻烦一点 ，你怎么好意思说啊...
WO: ......

不说了，继续改吧。

可见的效果

其实这种性能优化，最讨厌感觉上优化了，明明做了啊，但是到底优化了多少，是一点点，还是很多，还是适得其反呢？怎么能做到心中没点B数。

神奇的JConsole

Sun真是良心，除了JDK，还提供了很多很好的附加工具，还说只是试验品，软件附加的，但是其实很好用，而且很稳定。

什么是JConsole呢？在终端（Mac或者Windows）上输个jconsole就能看到，如图

image.png

图中com.zuihuibao.excel.ExcelOperator 34890是我启动的程序，可以选中它，然后连接。

image.png

点击不安全的连接，就可以看到各种你想看到的数据，比如当前内存大小，内存峰值等，我打算用它来测量我优化的实际效果。

image.png

PS，可能第一次你一直连不上，请在你的启动程序上加个参数
-Djava.rmi.server.hostname=localhost

image.png