美文网首页
HDFS写数据分析2020-07-13

HDFS写数据分析2020-07-13

作者: fat32jin | 来源:发表于2020-07-17 07:17 被阅读0次

1. 创建INodeFile流程分析 32.11

2步:
FSDataOutputStream focus——》FileSystem.create
focus.write(bytes[])

抽象类 FSDataOutputStream.create
实现类 DistributedFileSystem.create

             ——》DFSClient.create
                         ——》DFSOutputStream.newStreamForCreate
                                  ——》dfsClient.namenode.create(远程代理类)
                                                               ↓  远程
                                          NamenodeRpcserver.create
                                         ——》(FSNamesystem)namesystem.startFile
                                                ——》FSNamesystem:startFileInt
                                                           —》FSNamesystem:startFileInternal
                                                                     —》(LeaseManager)leaseManager:addLease      租约
  1. 添加契约流程分析 46.12
  1. DataStreamer启动流程分析 56.11
  2. 启动文件续约流程分析
  3. 契约扫描机制分析
  4. chunk写入DataQueue流程剖析
  5. Block申请流程剖析 2.10
  6. pipline数据管道流程建立分析 2.16
  7. 管道建立容错处理 (retry ,排除问题机器) 2.45
  8. ResponseProcessor组件初始化流程分析 3.00
  9. BlockReceiver和PacketResponder初始化
  10. 写数据层层上报处理结果 3.13
  11. 写数据容错分析 3.20

相关文章

网友评论

      本文标题:HDFS写数据分析2020-07-13

      本文链接:https://www.haomeiwen.com/subject/nbmocktx.html