基于YARN的SPARK管理过程

前言

MapReduce与Spark中Job概念的区别

在MapReduce中的一个抽象概念是Job，在Job执行时系统会加载数据，然后执行Map, Shuffle, Reduce等操作，再对结果进行持久化。

在Spark中则是有Application，一个Application下面有多个Job，多个Job可以并行也可以串行，一个Job由多个Stage组成。

Spark执行过程中各组成部分介绍

Application

一个Application与Spark API接口中的一个SparkContext相对应（目前有更高级的抽象SparkSession封装着SparkContext）。

一个Application可以用于：

• 一批Job（如：一个包含SparkContext的脚本，在限定时间内执行完成）
• 一个有多个Job的交互式会话（如：Spark Shell）
• 一个长期存活的Server程序（如：带SparkContext，死循环接收Spark任务的Server脚本）

Application在Spark集群中会拥有执行进程，称为Executors。Executors即便在没有Job可运行的情况下也会运行在集群中。

Job

一个Job则拆分成不同的stage。

** Stage**

一个Stage则包含Map, Shuffle, Reduce等操作。一个Stage可进一步细化为一系列Task。

Task

一个Stage细化为一系列Task，这些Task都执行相同的代码，只是执行在输入数据集上的不同部分。

Executors

在MapReduce中每个Task运行在各自的进程中，当Task结束的时候，杀掉进程。

在Spark中多个Task可以并行的运行在一个进程中，即Executor。这个进程即便在没有Job可运行的情况下也会运行在集群中，生命周期与Application一样长。（好处是调用速度快，坏处是资源利用率不高）

一个节点中可以有多个Executor。

Driver

Driver进程负责运行Spark Context，将Application转化为DAG图，以及初始化Job。

Driver与Application一一对应。

Resource Management

Spark支持三种类型集群管理方式：YARN, Mesos, Standalone

三种方式都由两部分组成：

• Central Master Service：<u>YARN ResourceManager</u>, <u>Mesos Master</u>, <u>Spark Standalone Master</u>
• Slave Service：<u>YARN NodeManager</u>, <u>Mesos Slave</u>, <u>Spark Standalone Slave</u>

Central Master Service用于决定Applications的运行时机、地方。
Slave Service运行在各个节点 ，真正的启用Executor进程。有时会监测Executor的是否活着，还有其资源消费情况。

基于YARN的Spark资源管理

YARN结合Spark运行方式简介

一个Spark Executor以一个YARN Container的形式运行。Spark在一个Container中持有多个Task。

Spark支持两种运行在YARN上的方式："yarn-cluster", "yarn-client"

YARN Cluster模式

一个Application实例对应一个Application Master进程，也是运行在一个YARN Container中，并且是第一个Container。

Application Master负责从Resource Manager处获取资源（合适的Hosts和Containers），再通知NodeManagers启动Containers。

YARN Cluster Mode

YARN Client模式

Application Master只负责从Resource Manager处获取资源。由Client与各个Container进行通信确认如何工作。

YARN Client Mode

YARN Cluster模式与Client模式的区别

||YARN Cluster|YARN Client|
|:---|:---|:---|
|Driver runs in|Application Master|Client|
|Who controls running process|Application Master|Client|
|Spark interactively, like spark-shell|No|Yes|

|Spark driver run inside client process (initiates the Spark Application)|No|Yes|

参考文献

[1] http://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/
[2] http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-1/
[3] https://spark.apache.org/docs/1.0.2/job-scheduling.html