美文网首页
Spark Local-Sort性能优化

Spark Local-Sort性能优化

作者: Xiuli_V | 来源:发表于2020-01-13 16:24 被阅读0次

一、Local sort设计

二、localSort BenchMark测试

测试代码sql/core/src/test/scala/org/apache/spark/sql/execution/datasources/orc/LocalSortBenchmark.scala

基于50万条数据测试情况

1、'none' compress

Create local-sort table or not and use 'none' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Create no local-sort table                    829 /  930        -0.0  -828575541.0      1.0XCreate local-sort table with one column        687 /  725        -0.0  -686940503.0      1.2XCreate local-sort table with two columns      702 /  727        -0.0  -702051948.0      1.2XUse local-sort table or not and 'none' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Use no local-sort table                        727 /  830        -0.0  -727380314.0      1.0XUse local-sort table with one column          646 /  771        -0.0  -646038168.0      1.1XUse local-sort table with two columns          595 /  659        -0.0  -594576302.0      1.2X

2、'uncompressed' compress

Create local-sort table or not and use 'uncompressed' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Create no local-sort table                    646 /  670        -0.0  -645599722.0      1.0XCreate local-sort table with one column        657 /  695        -0.0  -656976360.0      1.0XCreate local-sort table with two columns      640 /  682        -0.0  -639984996.0      1.0XUse local-sort table or not and 'uncompressed' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Use no local-sort table                        652 /  733        -0.0  -652089070.0      1.0XUse local-sort table with one column          538 /  613        -0.0  -538297266.0      1.2XUse local-sort table with two columns          521 /  549        -0.0  -520702701.0      1.3X

3、'snappy' compress

Create local-sort table or not and use 'snappy' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Create no local-sort table                    657 /  674        -0.0  -656778039.0      1.0XCreate local-sort table with one column        695 /  736        -0.0  -695051941.0      0.9XCreate local-sort table with two columns      654 /  698        -0.0  -653894042.0      1.0XUse local-sort table or not and 'snappy' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Use no local-sort table                        504 /  562        -0.0  -503619019.0      1.0XUse local-sort table with one column          454 /  508        -0.0  -453511415.0      1.1XUse local-sort table with two columns          482 /  531        -0.0  -481824674.0      1.0X

4、'zlib' compress

Create local-sort table or not and use 'zlib' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Create no local-sort table                    724 /  737        -0.0  -723502111.0      1.0XCreate local-sort table with one column        739 /  741        -0.0  -738642143.0      1.0XCreate local-sort table with two columns      719 /  731        -0.0  -718866255.0      1.0XUse local-sort table or not and 'zlib' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Use no local-sort table                        465 /  575        -0.0  -465250793.0      1.0XUse local-sort table with one column          467 /  519        -0.0  -467351210.0      1.0XUse local-sort table with two columns          461 /  523        -0.0  -460964183.0      1.0X

5、'lzo' compress

Create local-sort table or not and use 'lzo' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Create no local-sort table                    681 /  692        -0.0  -681079691.0      1.0XCreate local-sort table with one column        695 /  738        -0.0  -695109679.0      1.0XCreate local-sort table with two columns      661 /  781        -0.0  -660778989.0      1.0XUse local-sort table or not and 'lzo' compress: Best/Avg Time(ms)    Rate(M/s)  Per Row(ns)  Relative------------------------------------------------------------------------------------------------Use no local-sort table                        498 /  560        -0.0  -498172655.0      1.0XUse local-sort table with one column          534 /  778        -0.0  -534378198.0      0.9XUse local-sort table with two columns          516 /  581        -0.0  -515501123.0      1.0X

相关文章

  • Spark Local-Sort性能优化

    一、Local sort设计 二、localSort BenchMark测试 测试代码sql/core/src/t...

  • Awesome Extra

    性能优化 性能优化模式 常见性能优化策略的总结 Spark 性能优化指南——基础篇 Spark 性能优化指南——高...

  • Spark 性能优化方案

    Spark 性能优化方案(转自李智慧的Spark性能优化方案): Spark性能测试工具 •Spark性能测试基准...

  • Spark性能调优

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • Spark性能优化:数据倾斜调优(转)

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • Spark性能优化:开发调优篇(转)

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • Spark性能优化:资源调优篇(转)

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • spark性能调优

    [Spark性能优化指南——基础篇][Spark性能优化指南——高级篇]

  • 目录

    Spark之参数介绍 Spark之性能优化2.1. 官方性能优化指南2.2. Spark性能优化指南——基础篇2....

  • 美团关于大数据技术的文章

    Spark性能优化指南——基础篇Spark性能优化指南——高级篇Spark在美团的实践Kafka文件存储机制那些事...

网友评论

      本文标题:Spark Local-Sort性能优化

      本文链接:https://www.haomeiwen.com/subject/rxzanftx.html