美文网首页
spark的执行

spark的执行

作者: 舟舟洋 | 来源:发表于2020-08-14 11:17 被阅读0次

    1.spark驱动器是执行开发程序中的 main方法的进程
    2.Driver在执行任务时候执行一下操作
    1)把用户程序转为任务:程序 >> task;执行逻辑优化,多个操作合并到一个stage(由多个task组成)
    2)跟踪Executor的运行状况
    3)为执行器节点调度任务:分配数据
    4)UI展示应用运行状况:把运行内容通过网页展示出来
    2.Executor
    为执行任务而产生
    1)执行任务,返回结果
    2)储存RDD

    相关文章

      网友评论

          本文标题:spark的执行

          本文链接:https://www.haomeiwen.com/subject/fehgdktx.html