Spark 1.6+推出了以RPCEnv、RPCEndpoint、RPCEndpointRef为核心的新型架构下的RPC通信方式。其具体实现有Akka和Netty两种方式,Akka是基于Scala的Actor的分布式消息通信系统,Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。
Rpc Environment(RpcEnv)是一个RpcEndpoints用于处理消息的环境,它管理着整个RpcEndpoints的声明周期:(1)根据name或uri注册endpoints(2)管理各种消息的处理(3)停止endpoints。RpcEnv必须通过工厂类RpcEnvFactory创建。
RpcEndpoint需要注册到RpcEnv,RpcEnv处理从RpcEndpointRef或远程节点发送过来的消息,然后把响应消息给RpcEndpoint。对于Rpc捕获到的异常消息,RpcEnv将会用RpcCallContext.sendFailure将失败消息发送给发送者,或者将没有发送者、‘NotSerializableException’等记录到日志中。同时,RpcEnv也提供了根据name或uri获取RpcEndpointRef的方法。
Rpc、RpcEndpoint、RpcEndpointRef三者关系1.RpcEnv源码分析
1.根据RpcEndpoint返回RpcEndpointRef,具体实现在RpcEndpoint.self方法中,如果RpcEndpointRef不存在,将返回null
private[rpc] def endpointRef(endpoint: RpcEndpoint): RpcEndpointRef
2.根据RpcEndpoint的name注册到RpcEnv中并返回它的一个引用RpcEndpointRef
def setupEndpoint(name: String, endpoint: RpcEndpoint): RpcEndpointRef
3.获取RpcEndpointRef的方法
(1)通过url获取RpcEndpointRef
//通过url异步获取RpcEndpointRef
def asyncSetupEndpointRefByURI(uri: String): Future[RpcEndpointRef]
//通过url同步获取RpcEndpointRef,这是一个阻塞操作
def setupEndpointRefByURI(uri: String): RpcEndpointRef = {
defaultLookupTimeout.awaitResult(asyncSetupEndpointRefByURI(uri))}
(2)根据systemName、address、endpointName获取RpcEndpointRef,其实是将三者拼接为uri,根据uri获取
//异步获取
def asyncSetupEndpointRef(
systemName: String, address: RpcAddress, endpointName: String): Future[RpcEndpointRef] = {
asyncSetupEndpointRefByURI(uriOf(systemName, address, endpointName))}
//同步获取
def setupEndpointRef(
systemName: String, address: RpcAddress, endpointName: String): RpcEndpointRef = {
setupEndpointRefByURI(uriOf(systemName, address, endpointName))
}
4.根据RpcEndpointRef停止RpcEndpoint
def stop(endpoint: RpcEndpointRef): Unit
5.等待直到RpcEnv退出
def awaitTermination(): Unit
6.RpcEndpointRef需要RpcEnv来反序列化,所以当反序列化RpcEndpointRefs的任何object时,应该通过该方法来操作
def deserialize[T](deserializationAction: () => T): T
2.RpcEndpoint源码分析
RpcEndpoint定义了由消息触发的一些函数,`onStart`, `receive` and `onStop`的调用是顺序发生的。它的声明周期是constructor -> onStart -> receive* -> onStop。注意,`receive`能并发操作,如果你想要`receive`是线程安全的,请使用ThreadSafeRpcEndpoint,如果RpcEndpoint抛出错误,它的`onError`方法将会触发。它有51个实现子类,我们比较熟悉的是Master、Worker、ClientEndpoint等。
1.启动RpcEndpoint处理任何消息
def onStart(): Unit = {}
2.停止RpcEndpoint
def onStop(): Unit = {}
3.处理RpcEndpointRef.send或RpcCallContext.reply方法,如果收到不匹配的消息,将抛出SparkException
def receive: PartialFunction[Any, Unit] = {
case _ => throw new SparkException(self + " does not implement 'receive'")}
4.处理RpcEndpointRef.ask方法,如果不匹配消息,将抛出SparkException
def receiveAndReply(context: RpcCallContext): PartialFunction[Any, Unit] = {
case _ => context.sendFailure(new SparkException(self + " won't reply anything"))}
5.当处理消息发生异常时
def onError(cause: Throwable): Unit = {
throw cause}
6.当远程地址连接到当前的节点地址时触发
def onConnected(remoteAddress: RpcAddress): Unit = {
}
7.当远程地址连接断开时触发
def onDisconnected(remoteAddress: RpcAddress): Unit = {
}
8.当远程地址和当前节点的连接发生网络异常时触发
def onNetworkError(cause: Throwable, remoteAddress: RpcAddress): Unit = {
// By default, do nothing.
}
3.RpcEndpointRef源码分析
RpcEndpointRef是RpcEndpoint的一个远程引用,是线程安全的。它有两个实现子类:即AkkaRpcEndpointRef和NettyRpcEndpointRef。
1.发送单方面的异步消息
def send(message: Any): Unit
2.发送一个消息给RpcEndpoint.receiveAndReply并返回一个Future在指定的时间内接受响应,本方法值请求一次
def ask[T: ClassTag](message: Any, timeout: RpcTimeout): Future[T]
3.发送消息给RpcEndpoint并在默认的超时内得到结果,否则抛出SparkException,注意,本方法是一个阻塞操作可能消耗时间,所以不要早消息循环中调用它
def askWithRetry[T: ClassTag](message: Any): T = askWithRetry(message, defaultAskTimeout)
最后,画图说明一下两者的消息传递的过程,RpcEndpointRef作为消息的主动者,RpcEndpoint作为消息的被动者
RpcEndpoint、RpcEndpointRef
网友评论