1、大数据定义
根据维基百科的定义，大数据是指根据常用软件工具捕获、管理和处
理数据所耗时 间超过可容忍时间的数据集。按照麦肯锡的定义，大数据是
指无法在一定时间内用传统 数据库软件工具对其内容进行抓取、管理和处
理的数据集合。在特征方面，大数据不仅 “容量大”，还有很多其他的特
色。总体而言，可以用“5V + 1C”来概括：Variety (多样 _化）、
Volume (海量）、Velocity (快速）、Vitality (灵活）、Value (价值
性）、Complexity (复杂）。其中，大数据之“大”，更多的意义在于其
价值性：人类可以“分析和使用” 的数据在大量增加，通过这些数据的交
换、整合和分析，可以发现新知识，创造新价值， 带来“大知识” “大
科技” “大利润”和“大发展”，其他几个特征如复杂性，则对大数 据
的分析技术、工具及人才提出挑战和要求。
Variety (多样 _化）是指数据来源多样性，比如oracle、mysql、文档、日志等等；
Volume (海量）顾名思义数据量大；
Velocity (快速）是指数据产生的速度快；
Vitality (灵活）是指数据的用途，用法，多样，可以用于数据分析，用户画像，还可以用于人工智能ai等等；
Value (价值性）是指通过数据产生价值；
Complexity (复杂）是指数据处理方式的复杂性，比如可能先通过python数据清洗，然后用机器学习库进行训练，再用spark进行分析；
2.Hadoop 产生背景
• 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引
擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，
• 遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
• 2. 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
——分布式文件系统（GFS），可用于处理海量网页的存储
——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
• 3. Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中
剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来
了它的快速发展期。
3.Hadoop 与 Hadoop生态圈
4.Hadoop2.x 三大 组件
Hadoop发展到现在已经有3个版本
Hadoop（存储+计算+资源和作业调度）
Hadoop1.x
HDFS 存储
MapReduce 计算+资源和作业调度
Hadoop2.x 将资源和作业调度单独抽离出来
HDFS 存储
MapReduce 计算
YARN 资源和作业调度
不只是MapReduce需要用到YARN平台，其他计算组件也要用到YARN平台，包括spark等；
目前企业主要用Hadoop2.x
Hadoop3.x
网友评论