1、org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0
2、在 rdd.foreach中对变量进行操作,然后输出的时候 没有值
val count = 0l
val keyTotal = rdd.reduceByKey((a,b)=>a+b)
keyTotal.foreach(item => {
count ++;
})
println(s"$count")
发现还是 0,类似的问题 参考闭包那一节的分析,逻辑写多了,容易忽略这样的细节
网友评论