openpyxl在平衡功能和性能上做来很大努力。毫无疑问,我们更关注功能而不是优化:因为一旦完成API,性能优化也就变得更容易。与其他库和应用程序相比,内存占用率很高,大约是原始文件大小的50倍。例如,对于50MB的Excel文件,内存将占用2.5GB。由于许多用例只涉及读取或写入文件,加上optimized
模式的应用,这将不是问题。
测试基准¶
所有的测试基准都是综合的,并且非常依赖于硬件,但是仍然可以得出结论。
写入性能¶
测试代码可以调整为使用更多工作表或者调整字符串数据的比例。因为使用的python版本也会显著影响性能,所以运行脚本也可以用于在tox环境中测试不同版本的python。
写入性能与著名的xlsxwriter进行了比较
Versions:
python: 3.6.9
openpyxl: 3.0.1
xlsxwriter: 1.2.5
Dimensions:
Rows = 1000
Cols = 50
Sheets = 1
Proportion text = 0.10
Times:
xlsxwriter : 0.59
xlsxwriter (optimised): 0.54
openpyxl : 0.73
openpyxl (optimised) : 0.61
Versions:
python: 3.7.5
openpyxl: 3.0.1
xlsxwriter: 1.2.5
Dimensions:
Rows = 1000
Cols = 50
Sheets = 1
Proportion text = 0.10
Times:
xlsxwriter : 0.65
xlsxwriter (optimised): 0.53
openpyxl : 0.70
openpyxl (optimised) : 0.63
Versions:
python: 3.8.0
openpyxl: 3.0.1
xlsxwriter: 1.2.5
Dimensions:
Rows = 1000
Cols = 50
Sheets = 1
Proportion text = 0.10
Times:
xlsxwriter : 0.54
xlsxwriter (optimised): 0.50
openpyxl : 1.10
openpyxl (optimised) : 0.57
读取性能¶
读取性能测试使用的以前的bug report,与xlrd库进行比较。xlrd主要用于后缀为.XLS旧的BIFF文件格式文件,对XLSX的支持有限。
基准测试的代码运行结果显示,在处理文件时选择正确选项很重要。当禁用外部链接时,openpyxl将停止打开链接工作表的缓存副本。
两个库之间的一个主要区别是openpyxl的read-only
模式会立刻打开一个工作簿,使其适合于多个进程,也显著地减少了内存使用。xlrd不会自动将日期和时间转换为Python日期时间而是对单元格进行注释,但在客户端代码中这样做会显著降低性能。
Versions:
python: 3.6.9
xlread: 1.2.0
openpyxl: 3.0.1
openpyxl, read-only
Workbook loaded 1.14s
OptimizationData 23.17s
Output Model 0.00s
>>DATA>> 0.00s
Store days 0% 23.92s
Store days 100% 17.35s
Total time 65.59s
0 cells in total
Versions:
python: 3.7.5
xlread: 1.2.0
openpyxl: 3.0.1
openpyxl, read-only
Workbook loaded 0.98s
OptimizationData 21.35s
Output Model 0.00s
>>DATA>> 0.00s
Store days 0% 20.70s
Store days 100% 16.16s
Total time 59.19s
0 cells in total
Versions:
python: 3.8.0
xlread: 1.2.0
openpyxl: 3.0.1
openpyxl, read-only
Workbook loaded 0.90s
OptimizationData 19.58s
Output Model 0.00s
>>DATA>> 0.00s
Store days 0% 19.35s
Store days 100% 15.02s
Total time 54.85s
0 cells in total
并行处理¶
读取工作表相当耗费CPU,这限制了并行化带来的好处。但是,如果您主要是想使用工作簿的内容,那么可以使用openpyxl的read-only
模式,打开工作簿的多个实例,同时利用多个cpu。
示例代码使用与读取测试相同的源文件,由于创建了额外的python进程,性能可以轻松地扩展并且开销很小。
Parallised Read
Workbook loaded 1.12s
>>DATA>> 2.27s
Output Model 2.30s
Store days 100% 37.18s
OptimizationData 44.09s
Store days 0% 45.60s
Total time 46.76s
水平有限,如果有朋友发现文中许多翻译不当的地方,请随时指正。
翻译不易,也请大家多多点赞!
网友评论