- standalone模式
master
负责集群资源的管理，主要负责worker的注册，driver的注册
worker
负责向master注册本机资源，负责启动Executor
Exexutor
Executor是真正的计算资源，管理本机的task。负责和driver的CoarseGraindSchedulerBackend通信，接收任务，完成任务，以及修改任务状态。
driver
客户端程序启动的时候就是一个driver。
job
一个Action操作就会触发一次job
sparkContext
客户端程序启动时候的核心。启动的时候会初始化TaskScheduler,SchedulerBackend,DAGScheduler三大组件
DAG
spark会在执行job的时候首先构建DAG图(有向无环图)，根据DAG来调度task。
Task
一般情况下RDD的一个分区就会生成一个task。具体执行作业的对象。
TaskScheduler
具体调度task的调度器。
DAGScheduler
具体调度DAG的调度器，生成DAG图
SchedulerBackend
调度Executor执行，和CoarseGrainExecutorBackend进行通信。
网友评论