美文网首页
RPC(hadoop的实现)

RPC(hadoop的实现)

作者: liubin192837 | 来源:发表于2018-12-23 16:48 被阅读0次

这里客户端并不是“头信息”和“请求数据”一起发发送,而是分两次发送。
先发如下的头信息,然后才发送请求的服务和参数:
/**
* Write the connection header - this is sent when connection is established
* +----------------------------------+
* | "hrpc" 4 bytes |
* +----------------------------------+
* | Version (1 byte) |
* +----------------------------------+
* | Service Class (1 byte) |
* +----------------------------------+
* | AuthProtocol (1 byte) |
* +----------------------------------+
*/
Client:
客户端较直接,是普通的i/o调用。Call,Connection是Client内部类。

HadoopRpcClient.png

Serve:
服务端使用的NIO的方式。
1)Serve 在启动(start函数)的时候,构造Listener,Responder,Handler(数组)Listener 构造出Reader(数组)注释:构造数组多个为了提升处理能力。2)Serve 构造如下几个线程类分别处理如下对应nio事件Listener:Acceptable Reader:Readable Responder:Writable

hadoopRpcServe.png

相关文章

  • RPC(hadoop的实现)

    这里客户端并不是“头信息”和“请求数据”一起发发送,而是分两次发送。先发如下的头信息,然后才发送请求的服务和参数:...

  • Hadoop RPC

    Hadoop RPC Hadoop作为分布式存储系统,为了实现各节点间的通信和交互,所以需要实现一套这样的机制.R...

  • Hadoop RPC

    Hadopp作为分布式存储系统,为了便于各个节点之间的通信和交互,基于IPC进程间通信模型,实现了一套高效的轻量级...

  • Hadoop HDFS 2.7.2 升级 2.8.5 的注意事项

    几个关键点 在 Hadoop-2.7.2 和 Hadoop-2.8.5 中 Hadoop RPC 版本一致,都为9...

  • 基于RPC的简单C/S服务器代码

    定义RPC协议 IProxyProtocol类 Hadoop中所有自定义RPC接口都需要继承VersionedPr...

  • HBase里面的RPC

    社区版HBase-1.0.0里面的RPC跟hadoop中的RPC差不多,也是用了protobuffer、n...

  • Hadoop源码分析-Hadoop RPC使用

    本文使用一个简单示例说明 Hadoop RPC的使用 1. RPC 定义 百度百科:RPC是远程过程调用(Remo...

  • hadoop(七) RPC

    上节课我们一起学习了如何将Hadoop与Java程序相结合,这节我们共同来学习RPC请求及应用。首先看一下RPC的...

  • Hadoop RPC服务

    多个Reducer操作同一张表可能出现的错误 假设有两个Reducer,R1和R2,都需要操作MySQL的Dime...

  • socket,hadoop的rpc

    socket:在本地我们用PID来唯一标识一个进程。但是在网络中这样做难以实现。在TCP/IP协议簇中,网络层的i...

网友评论

      本文标题:RPC(hadoop的实现)

      本文链接:https://www.haomeiwen.com/subject/iaunkqtx.html