如图:

skipped的stages代表是已经执行过,因此不需要再次执行。
举个栗子,你有一个testRdd,先做testRdd.filter(bool).map(x=>x),这个是transform,然后再分别做count和reduce操作。这两个都是action,第一次执行action操作时会执行transform,然后执行第二个action时,transform就会进行skipped。
如图:
skipped的stages代表是已经执行过,因此不需要再次执行。
举个栗子,你有一个testRdd,先做testRdd.filter(bool).map(x=>x),这个是transform,然后再分别做count和reduce操作。这两个都是action,第一次执行action操作时会执行transform,然后执行第二个action时,transform就会进行skipped。
本文标题:spark web ui中skipped的含义
本文链接:https://www.haomeiwen.com/subject/hipnsctx.html
网友评论