BlockManager 创建时机
Master 创建时机
在 driver 端，构造 SparkContext 时会创建 SparkEnv 实例 _env，创建 _env 是通过调用 object SparkEnv 的 create 方法，在该方法中会创建 Master，即 driver 端的 blockManager。
所以，简单来说，Master 是在 driver 创建 SparkContext 时就创建了。
Slave 创建时机
在 worker 进程起来的的时候，object CoarseGrainedExecutorBackend 初始化时会通过调用 SparkEnv#createExecutorEnv，在该函数中会创建 executor 端的 BlockManager，也即 Slave。这之后，CoarseGrainedExecutorBackend 才向 driver 注册 executor，然后再构造 Executor 实例。
接下来，我们看看 BlockManager 是如何创建的。
创建 BlockManager
Master 是如何创建的：
结合上图我们来进行 Step By Step 的分析
Step1: 创建 RpcEnv 实例 rpcEnv
这一步通过 systemName、hostname、port 等创建一个 RpcEnv 类型实例 rpcEnv，更具体的说是一个 NettRpcEnv 实例，在 Spark 2.0 中已经没有 akka rpc 的实现，该 rpcEnv 实例用于：
- 接受稍后创建的 rpcEndpoint 的注册并持有 rpcEndpoint（该 rpcEndpoint 用于接收对应的 * * rpcEndpointRef 发送的消息以及将消息指派给相应的函数处理）
持有一个消息分发器 dispatcher: Dispatcher，将接收到的消息分发给相应的 rpcEndpoint 处理
Step2: 创建 BlockManagerMaster 实例 blockManagerMaster
BlockManagerMaster 持有 driverRpcEndpointRef，其包含各种方法通过该 driverRpcEndpointRef 来给 Master 发送各种消息来实现注册 BlockManager、移除 block、获取/更新 block、移除 Broadcast 等功能。
如上图所示，创建 BlockManagerMaster 的流程如下：
先创建 BlockManagerMasterEndpoint 实例
对于 master（on driver），将上一步得到的 blockManagerMasterEndpoint 注册到 driverRpcEnv，以供之后driverRpcEnv 中的消息分发器分发消息给它来处理特定的消息，并返回 driverRpcEndpointRef；而对于 slave（on executor），通过 driverHost、driverPort 获取 driverRpcEndpointRef
利用上一步构造的 driverRpcEndpointRef，结合 sparkConf 及是否是 driver 标记来构造 BlockManagerMaster 实例
网友评论