Spark内核分析之Spark的HA源码分析

        Spark作业运行的集群环境有两种，分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用，而standalone也提供了一种集群高可用的方法，即通过配置可以实现双master机制，保证在一个master挂掉以后，另外一个master立即启用。spark的主备切换提供了两种模式，一种是基于文件系统的，另外一种是基于zookeeper的。下面我们来看看spark集群的master主备切换是怎么实现的，如下图所示；

Master主备切换原理图

1.当active master挂掉以后，通知standby master启动，并使用持久化引擎对持久化数据进行读取；

2.持久化引擎将不为空的数据全部注册到master的内存缓冲中；

3.master向所有的Application，Worker发送自己的地址信息；

4.Application，Driver，Worker收到消息并返回一个消息告知master；

5.master一一接收到来自各个Application，worker，Driver的消息以后，开始过滤掉没有响应的节点信息，然后开始调用scheduler()方法，开始为相关进程分配资源；

通过以上原理的介绍，下面看看我们的源码具体是怎么实现的，

worker过滤具体实现 application过滤实现 Driver过滤实现

        关于持久化引擎的补充说明，在spark中引入了三种持久化引擎，分别是基于文件的持久化引擎，基于zookeeper的持久化引擎，BlackHolePersistenceEngine引擎；系统默认采用的是基于文件的持久化引擎，可以通过spark.deploy.recoveryMode参数配置具体采用那种持久化引擎，该参数的设置位置时spark-env.sh中。

设置为zookeeper的方式：

//spark.deploy.recoveryMode=ZOOKEEPER

//spark.deploy.zookeeper.url=192.168.1.100:2181,192.168.1.101:2181

// /spark是默认的，可以不写

//spark.deploy.zookeeper.dir=/spark

设置为基于文件系统的方式：

spark.deploy.recoveryMode=FILESYSTEM

spark.deploy.recoveryDirectory=/usr/local/src/spark/dataDir

总结：到这里基本上关于spark的HA的原理及实现分析就完了，后续关于其他组件的实现及源码不定期更新，欢迎关注。

如需转载，请注明：

上一篇：Spark内核分析之SparkContext初始化源码分析

本篇：Spark内核分析之Spark的HA源码分析

下一篇：Spark内核分析之Master的注册机制实现原理