美文网首页
Hadoop第一天学习目标

Hadoop第一天学习目标

作者: d1450eb71426 | 来源:发表于2016-04-20 21:53 被阅读73次

    并发:1.多线程同事访问一个一个对象或者文件,用syncnized,lock 这个接口的具体实现readlock,读与读不互斥,读与写互斥,写于写不互斥,两个对比:lock可控,lock(),unlock();
    2.hdfs的上传和下载原理,
    3.ssh原理第一天08
    1.一台机器可以有一个namenode多个datanode。这是伪分布式,需要配置
    2.上传文件到hdfs过程:client和namenode就行rpc通信获取存储位置,client找到相应的datanode地址,通过http协议写数据,datanode写一块就和namenode申请一块(如果某一块数据错误,可以根据偏移量),写的时候分块。datanode以流水线的方式写副本水平传递
    3.namenode的metadata数据内存保存一份,磁盘存一份
    4.判读block是否损坏,用原来和现在的校验和对比
    5.元数据就是对数据的描述
    6.namenode维护文件目录树 ,有metadata存内存,fsimage,edits存磁盘
    7hdfs下载过程源码35

    相关文章

      网友评论

          本文标题:Hadoop第一天学习目标

          本文链接:https://www.haomeiwen.com/subject/zpemlttx.html