Spark性能优化概览
Spark在本质上是一个基于内存计算的框架,当我们在Spark集群中运行Spark应用程序时,就存在着很多因素影响Spark应用程序的性能。比如说:CPU,网络带宽,内存等。如果,内存足够大,能够放下所有的数据,那么,CPU或者网络传输就可能出现性能瓶颈。如果,内存不够大,无法放下所有的数据,那么就要使用一些手段来减少内存消耗,从而提高Spark应用程序的性能。
通常来说,Spark性能优化主要是针对内存进行优化。但是,不仅仅只是内存调优,还有很多其他的方法。
Spark的性能优化技术概览
- 使用高性能序列化类库
- 优化数据结构
- 对多次使用的RDD进行持久化或者Checkpoint
- 使用序列化的持久化级别
- Java虚拟机垃圾回收调优
- 提高并行度
- 广播共享数据
- 数据本地化
- reduceByKey和groupByKey
- Shuffle调优(核心)
网友评论