总结：master和worker是分布式的基础，负责通信和管理上层的进程。driver和excutor是Spark负责执行任务的部分，driver负责分解任务，excutor负责执行任务。
-
我们从master节点提交应用
-
master和worker是物理节点，driver和excutor是进程
master节点常驻master守护进程，负责管理worker节点，我们从master节点提交应用。
worker节点常驻worker守护进程，与master节点通信，并且管理executor进程。
-
master和worker用来描述集群管理器的中心化和分布式的部分，而driver和excutor描述Spark应用的进程
-
driver可以运行在master上，也可以运行worker上
提交应用与分配应用不同 -
excutor宿主在worker节点上，多个excutor可以宿主在同一个worker节点上
问题：为什么driver和excutor已经可以分解任务和执行任务，还需要master和worker？
master和worker负责资源的分配和集群的监控，和管理任务的运行。
网友评论