美文网首页
POI 简述

POI 简述

作者: 还没想好ONE | 来源:发表于2019-09-29 14:03 被阅读0次


    前言:      

            用JavaPOI导出Excel时,我们需要考虑到Excel版本及数据量的问题。针对不同的Excel版本,要采用不同的工具类,如果使用错了,会出现错误信息。Java POI导出Excel有三种形式,他们分别是:

    1. HSSFWorkbook :  一般用于Excel2003版及更早版本(扩展名为.xls)的导出。一张表最大支持65536行数据,256列。也就是说excel2003完全不可能满足百万数据导出的需求。但是 可以通过分表进行实现百万数据需求。

    2. XSSFWorkbook:   一般用于Excel2007版(扩展名为.xlsx)的导出。一张表最大支持1048576行,16384列;

    3. SXSSFWorkbook:  SXSSFWorkbook:是操作Excel2007后的版本,扩展名是.xlsx;大数据量导出格式  可以千万数据级别


    简述:

    HSSFWorkbook:

            POI导出excel最常用的方式;但是此种方式的局限就是导出的行数至多为65535行,超出65536条后系统就会报错。此方式因为行数不足七万行所以一般不会发生内存不足的情况(   OOM)。

    XSSFWorkbook

            这种形式的出现是为了突破HSSFWorkbook的65535行局限。其对应的是excel2007(1048576行,16384列)扩展名为“.xlsx”,最多可以导出104万行,不过这样就伴随着一个问题---OOM内存溢出,原因是你所创建的book sheet row cell等此时是存在内存的并没有持久化。

    SXSSFWorkbook

    从POI 3.8版本开始,提供了一种基于XSSF的低内存占用的SXSSF方式。对于大型excel文件的创建,一个关键问题就是,要确保不会内存溢出。其实,就算生成很小的excel(比如几Mb),它用掉的内存是远大于excel文件实际的size的。如果单元格还有各种格式(比如,加粗,背景标红之类的),那它占用的内存就更多了。对于大型excel的创建且不会内存溢出的,就只有SXSSFWorkbook了。它的原理很简单,用硬盘空间换内存(就像hash map用空间换时间一样)。

    SXSSFWorkbook

             是streaming版本的XSSFWorkbook,它只会保存最新的excel rows在内存里供查看,在此之前的excel rows都会被写入到硬盘里(Windows电脑的话,是写入到C盘根目录下的temp文件夹)。被写入到硬盘里的rows是不可见的/不可访问的。只有还保存在内存里的才可以被访问到。

    注意:

    SXSSF与XSSF的对比:

    a. 在一个时间点上,只可以访问一定数量的数据

    b. 不再支持Sheet.clone()

    c. 不再支持公式的求值

    d. 在使用Excel模板下载数据时将不能动态改变表头,因为这种方式已经提前把excel写到硬盘的了就不能再改了


    以下是我做的一个小测试:

    分别使用HSSFWorkbook  XSSFWorkbookSXSSFWorkbook  导出10000、20000、30000、40000、50000、60000、100000、150000、200000、500000、1000000条数据。

    备注:导出逻辑基本是最简单的,从数据库中取出数据,然后就是写入表中,无复杂逻辑,以下数据仅供参考。

    注意:使用HSSFWorkbook在导出超过50000条数据时,使用的是同一个HSSFWorkbook创建多个Sheet实现的,因为HSSFWorkbook每张表(Sheet)中最多只能存65536条数据,为了避免报内存溢出错误,所以控制每张表中存储50000条数据。

    数据量/耗时

    不同模板导出 数据量/耗时 对比图

    总结:

    以上数据均为一次性测得,没有进行多次重复测试取平均值,所以数据仅供参考:

    根据测试数据我们可以看出:

    首先在5万条数据以内:

    XSSFWorkbook耗时明显比其他两个耗时长,而HSSFWorkbook和SXSSFWorkbook耗时基本相同。

    当数据 大于5万条 小于50万条 时,HSSFWorkbook采用分表策略存储数据时:

           XSSFWorkbook耗时依然明显比其他两个耗时长,但是相比于HSSWorkbook优势就是他的数据在一个表中。而HSSFWorkbook和SXSSFWorkbook耗时基本相同。

    当数据大于50万条时:

    XSSFWorkbook按照原理来说他的上限是100万左右,但是相比于SXSSFWorkbook来说,还是SXSSFWorkbook耗时最短,所以SXSSFWorkbook更适合处理大数据量。


    数据量/文件空间占用

    数据量/文件空间占用 图

    以上数据均为一次性测得,没有进行多次重复测试取平均值,所以数据仅供参考:

    根据测试数据我们可以看出:

            按照上面图示规律可以看出,数据量不断增加情况下,使用三种方式导出excel文件大小呈现平稳上升趋势,最终比较是HSSFWorkbook和SXSSFWorkbook占用空间较小。


    总结:

      通过相同数据量情况下 耗时和文件大小的比较,最后还是SXSSFWorkbook性能是比较好的,并且支持大数据量传输。

    以上内容纯属个人见解,如有错误或不妥之处请大家不吝赐教。谢谢!

    相关文章

      网友评论

          本文标题:POI 简述

          本文链接:https://www.haomeiwen.com/subject/slpzyctx.html