1、大数据概念
5V1C
Variety多样性、Volume海量、Velocity快速、Vitality灵活、Value价值
Complexity 复杂
2、Hadoop背景
1、最早起源Nutch
2、2003、2004年谷歌发型2篇论文
分布式文件系统(GFS) 处理海量存储
分布式计算框架MapReduce 处理海量网页搜索计算问题
3、开源实现HDFS和MapReduce独立出Hadoop
3、Hadoop
广义:Hadoop为主的生态圈 Hadoop flume......
狭义:Apache Hadoop http://hadoop.apache.org
4、Hadoop版本
Hadoop1.x:
HDFS:分布式文件系统,存储
MapReduce:分布式计算+资源调度和作业调度
Hadoop2.x:
HDFS:存储
MapReduce:计算
Yarn:YetAnother Resource Negotiate 资源调度和作业调度
网友评论