美文网首页Python高效办公
openpyxl3.0官方文档(3)——性能分析

openpyxl3.0官方文档(3)——性能分析

作者: Sinchard | 来源:发表于2020-06-30 09:44 被阅读0次

    openpyxl在平衡功能和性能上做来很大努力。毫无疑问,我们更关注功能而不是优化:因为一旦完成API,性能优化也就变得更容易。与其他库和应用程序相比,内存占用率很高,大约是原始文件大小的50倍。例如,对于50MB的Excel文件,内存将占用2.5GB。由于许多用例只涉及读取或写入文件,加上optimized模式的应用,这将不是问题。

    测试基准¶

    所有的测试基准都是综合的,并且非常依赖于硬件,但是仍然可以得出结论。

    写入性能¶

    测试代码可以调整为使用更多工作表或者调整字符串数据的比例。因为使用的python版本也会显著影响性能,所以运行脚本也可以用于在tox环境中测试不同版本的python。
    写入性能与著名的xlsxwriter进行了比较

        Versions:
        python: 3.6.9
        openpyxl: 3.0.1
        xlsxwriter: 1.2.5
        
        Dimensions:
            Rows = 1000
            Cols = 50
            Sheets = 1
            Proportion text = 0.10
        
        Times:
            xlsxwriter            :   0.59
            xlsxwriter (optimised):   0.54
            openpyxl              :   0.73
            openpyxl (optimised)  :   0.61
        
        
        Versions:
        python: 3.7.5
        openpyxl: 3.0.1
        xlsxwriter: 1.2.5
        
        Dimensions:
            Rows = 1000
            Cols = 50
            Sheets = 1
            Proportion text = 0.10
        
        Times:
            xlsxwriter            :   0.65
            xlsxwriter (optimised):   0.53
            openpyxl              :   0.70
            openpyxl (optimised)  :   0.63
        
        
        Versions:
        python: 3.8.0
        openpyxl: 3.0.1
        xlsxwriter: 1.2.5
        
        Dimensions:
            Rows = 1000
            Cols = 50
            Sheets = 1
            Proportion text = 0.10
        
        Times:
            xlsxwriter            :   0.54
            xlsxwriter (optimised):   0.50
            openpyxl              :   1.10
            openpyxl (optimised)  :   0.57
        
    

    读取性能¶

    读取性能测试使用的以前的bug report,与xlrd库进行比较。xlrd主要用于后缀为.XLS旧的BIFF文件格式文件,对XLSX的支持有限。
    基准测试的代码运行结果显示,在处理文件时选择正确选项很重要。当禁用外部链接时,openpyxl将停止打开链接工作表的缓存副本。
    两个库之间的一个主要区别是openpyxl的read-only模式会立刻打开一个工作簿,使其适合于多个进程,也显著地减少了内存使用。xlrd不会自动将日期和时间转换为Python日期时间而是对单元格进行注释,但在客户端代码中这样做会显著降低性能。

        Versions:
        python: 3.6.9
        xlread: 1.2.0
        openpyxl: 3.0.1
        
        openpyxl, read-only
            Workbook loaded 1.14s
            OptimizationData 23.17s
            Output Model 0.00s
            >>DATA>> 0.00s
            Store days 0% 23.92s
            Store days 100% 17.35s
            Total time 65.59s
            0 cells in total
        
        Versions:
        python: 3.7.5
        xlread: 1.2.0
        openpyxl: 3.0.1
        
        openpyxl, read-only
            Workbook loaded 0.98s
            OptimizationData 21.35s
            Output Model 0.00s
            >>DATA>> 0.00s
            Store days 0% 20.70s
            Store days 100% 16.16s
            Total time 59.19s
            0 cells in total
        
        Versions:
        python: 3.8.0
        xlread: 1.2.0
        openpyxl: 3.0.1
        
        openpyxl, read-only
            Workbook loaded 0.90s
            OptimizationData 19.58s
            Output Model 0.00s
            >>DATA>> 0.00s
            Store days 0% 19.35s
            Store days 100% 15.02s
            Total time 54.85s
            0 cells in total
        
    

    并行处理¶

    读取工作表相当耗费CPU,这限制了并行化带来的好处。但是,如果您主要是想使用工作簿的内容,那么可以使用openpyxl的read-only模式,打开工作簿的多个实例,同时利用多个cpu。
    示例代码使用与读取测试相同的源文件,由于创建了额外的python进程,性能可以轻松地扩展并且开销很小。

        Parallised Read
            Workbook loaded 1.12s
            >>DATA>> 2.27s
            Output Model 2.30s
            Store days 100% 37.18s
            OptimizationData 44.09s
            Store days 0% 45.60s
            Total time 46.76s
        
    

    水平有限,如果有朋友发现文中许多翻译不当的地方,请随时指正。
    翻译不易,也请大家多多点赞!

    相关文章

      网友评论

        本文标题:openpyxl3.0官方文档(3)——性能分析

        本文链接:https://www.haomeiwen.com/subject/zrytqktx.html