大数据基础概念

1、什么是大数据？

以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。

包括了以Hadoop和Spark为代表的基础大数据框架

还包括了实时数据处理，离线数据处理；数据分析，数据挖掘和用机器算法进行预测分析等技术。

2、Hadoop是什么？

一个开源的大数据框架、一个分布式计算的解决方案

Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)

3、Hadoop核心

HDFS分布式文件系统：存储是大数据技术的基础

MapReduce编程模型：分布式计算时大数据应用的解决方案

4、HDFS总结

普通的成百上千的机器

按TB甚至PB为单位的大量的数据

简单便捷的文件获取

5、Hadoop基础架构

HDFS概念

   数据块 : 数据块是抽象块而非整个文件作为存储单元

           默认大小为64MB，一般设置为128M，备份X3
           
NameNode : 主节点

           管理文件系统的命名空间，存放文件元数据。
           维护着文件系统的所有文件和目录，文件与数据块的映射。
           记录每个文件中各个块所在数据节点的信息 
           
DataNode : 从节点
    
           存储并检索数据块
           向Namenode更新所存储块的列表
           
HDFS 由 一个namenode  多个datanode组成

6、HDFS优点

适合大文件存储，支持TB、PB级的数据存储，并有副本策略

可以构建在廉价的机器上，并有一定的容错和恢复机制。

支持流式数据访问，一次写入，多次读取最高效。

7、HDFS缺点

不适合大量小文件存储

不适合并发写入，不支持文件随机修改
      
不支持随机读等低延时的访问方式