Hdfs基础与应用

一：　HDFS是什么?

 源自于Google的GFS论文
 发布与2003年10月
 HDFS是GFS克隆版
    特点：
        １：　易于扩展的分布式文件系统
        ２：    运行在大量普通廉价机器上，提供容错机制
        ３：    为大量用户提供性能不错的文件存取服务

二：　HDFS优点

 １．高容错性
        数据自动保存多个副本
        副本丢后，自动恢复
 ２．　适合批处理
        移动技术而非数据
        数据位置暴露给计算框架
 ３．　适合大数据处理
        GB,TB甚至PB级别数据
        百万规模以上的文件数量
        10k+节点规模
４．    流式文件访问
        一次性写入，多次读取
        保证数据一致性
 ５．　可构建在廉价机器上
        通过多副本提高可靠性
        提高了容错和恢复机制　

三：　HDFS缺点

 １．　低延迟数据访问
        比如毫秒级别
        低延迟与高吞吐率
  ２．　小文件存取
        占用NameNode大量内存
        寻道时间超过读取时间
  ３．并发写入，文件随机修改
        一个文件只能有一个写入
        仅支持append