美文网首页
Spark Streaming性能优化总结

Spark Streaming性能优化总结

作者: Wilson_0e83 | 来源:发表于2017-03-23 16:46 被阅读0次

代码优化部分

  1. 多个Action计算最好基于同一个RDD进行计算操作, 并且对相同的RDD进行Cache操作,避免重复计算,增加任务的执行时间;并且持久化级别最好使用MEMORY_ONLY_SER来减少内存使用;
  2. 在使用join的地方看是否可以使用map算子和广播变量的方式替代;
  3. 使用高效的算子, 例如:
    • 使用reduceByKey/aggregateByKey来代替groupByKey, 因为前者可以进行combiner操作,减少网络IO;
    • 使用MapPartition来代替Map操作, 尤其是在需要网络连接的地方;
    • 使用foreachPartition代替foreach操作,可以对数据进行批量处理;
    • 在filter操作后,可以使用colease操作,可以减少任务数;
  4. 序列化尽量使用Kyro方式, 其性能更好;
  5. 减少对复杂数据结构的使用,可以有效减少序列化时间;
  6. 对应简单的函数,最好使用闭合结构,可以有效减少网络IO;
  7. 使用Repartition操作可以有效增加任务的处理并行度;

参数调整优化部分

经过实践验证,调整后有效的参数如下:

  1. 根据资源情况,可以添加Executor的个数来有效,参数为** spark.executor.instances **
  2. 调整每个Executor的使用内核数, 参数为** spark.executor.cores **
  3. 调整每个Executor的内存, 参数为** spark.executor.memory **
  4. shuffle write task的buffer大小, 参数为** spark.shuffle.file.buffer **
  5. shuffle read task的buffer大小, 参数为** spark.reducer.maxSizeInFlight **
  6. 每一个stage的task的默认并行度, 默认为200, 建议修改为1000左右, 参数 ** spark.default.parallelism **
  7. 用于RDD的持久化使用的内存比例,默认0.6, 参数 ** spark.storage.memoryFraction **
  8. 用户shuffle使用的内存比例, 默认为0.2, 参数 ** spark.shuffle.memoryFraction **

其它优化

  1. 增加数据读取的并行度,比如读取Kafka的数据, 可以增加topic的partition数量和executor的个数;
  2. 限制读取Kafka数据的速率,参数 ** spark.streaming.kafka.maxRatePerPartition **
  3. 对于存在数据倾斜问题,有两类情况:
    • 进行join操作,产生skew问题, 可以使用map+广播变量类进行处理;
    • 对redece/aggregate等聚合操作,参数skew问题, 可以进行两次聚合的思想来解决, 核心是先进行key进行随机数操作,是数据分布均匀,并进行聚合,最后是剔除随机数据,用实际数据来进行聚合操作。

相关文章

  • Awesome Extra

    性能优化 性能优化模式 常见性能优化策略的总结 Spark 性能优化指南——基础篇 Spark 性能优化指南——高...

  • Spark Streaming性能优化总结

    代码优化部分 多个Action计算最好基于同一个RDD进行计算操作, 并且对相同的RDD进行Cache操作,避免重...

  • Spark Streaming 性能优化

    性能优化 为了获得运行在集群上的Spark应用的最好的性能需要一些调优。这一部分介绍了一些能够改善应用性能的一些参...

  • Spark Streaming:性能优化

    目录1.减少批数据的执行时间2.设置正确的批容量3.内存调优 1.减少批数据的执行时间 在Spark中有几个优化可...

  • Spark 性能优化方案

    Spark 性能优化方案(转自李智慧的Spark性能优化方案): Spark性能测试工具 •Spark性能测试基准...

  • Spark性能调优

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • Spark性能优化:数据倾斜调优(转)

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • Spark性能优化:开发调优篇(转)

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • Spark性能优化:资源调优篇(转)

    《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spar...

  • spark性能调优

    [Spark性能优化指南——基础篇][Spark性能优化指南——高级篇]

网友评论

      本文标题:Spark Streaming性能优化总结

      本文链接:https://www.haomeiwen.com/subject/hzhtottx.html