spark 常见问题汇总

1、org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0

2、在 rdd.foreach中对变量进行操作，然后输出的时候 没有值

val count = 0l
val keyTotal =  rdd.reduceByKey((a,b)=>a+b)
keyTotal.foreach(item => {
  count ++;
})

println(s"$count")
发现还是 0，类似的问题 参考闭包那一节的分析，逻辑写多了，容易忽略这样的细节