SparkContext 初始化综述

  1. SparkContext 初始化 所需要的必要条件 

           > SparkEnv 

           > DAGScheduler 

           > TaskScheduler 

           > SchedulerBackend             

           >WebUI 

SpackContext  -> SparkConf ->SparkEnv ->(众多变量初始化)

         |

TaskScheduler ->SchedulerBackend 

2. SparkContxt(Sparkconf)

  SparkConf 创建 SparkEnv   

  SparkEnv (创建包括 BlockManager ,MapOutputTracker ,ShuffleFetcher ,ConnectionMnager )

3 .sparkENV 创建变量解释

cacheManager  : 存储计算的中间结果

mapOutputTracker :存储MapStatus  ,并提供MapOutputMaster 获取信息功能

shuffleManager :维护路由表

brockManager : 块管理

connectionManager :安全管理

httpFileServer : 文件存储服务

sparkFilesDir : 文件存储目录

metriscSystem ：测量

4. 创建 TaskScheduler  

 Master 根据 args 参数确定其运行模式 选择相应的 TaskSchedulerBackend ，将 TaskSchedulerbackend 放入taskScheduler 中