美文网首页
spark web ui中skipped的含义

spark web ui中skipped的含义

作者: NikolasNull | 来源:发表于2019-08-22 14:40 被阅读0次

如图:

skipped

skipped的stages代表是已经执行过,因此不需要再次执行。

举个栗子,你有一个testRdd,先做testRdd.filter(bool).map(x=>x),这个是transform,然后再分别做count和reduce操作。这两个都是action,第一次执行action操作时会执行transform,然后执行第二个action时,transform就会进行skipped。

相关文章

网友评论

      本文标题:spark web ui中skipped的含义

      本文链接:https://www.haomeiwen.com/subject/hipnsctx.html