美文网首页
任务划分 和 Stage划分

任务划分 和 Stage划分

作者: yayooo | 来源:发表于2019-08-06 20:20 被阅读0次
    • Application: 当前应用程序(Driver)| 初始化一个SparkContext即生成一个Application
    • Job:一个Action算子就会生成一个Job
    • Stage: 根据RDD之间的依赖关系的不同将Job划分为不同的stage
    • Task:Stage是一个TaskSet,将Stage划分的结果发送到不同的Executor执行即为一个Task。

    宽依赖是划分Stage的依据。

    Stage划分

    相关文章

      网友评论

          本文标题:任务划分 和 Stage划分

          本文链接:https://www.haomeiwen.com/subject/rhstdctx.html