Spark性能调优

开启推测机制

如果集群中某台机器的几个task特别慢，推测机制会将任务分配到其他机器执行，最后Spark会选取最快的作为最终结果，相关参数：

spark.speculation=true  // 开启推测机制
spark.speculation.interval=100 // 检测周期，单位毫秒；
spark.speculation.quantile=0.75  // 完成task的百分比时启动推测；
spark.speculation.multiplier=1.5  // 比其他的慢多少倍时启动推测。

修改序列化