美文网首页我爱编程
Hadoop简介2018-05-13

Hadoop简介2018-05-13

作者: 糊涂蟲 | 来源:发表于2018-05-15 19:49 被阅读0次

1、大数据概念

5V1C

Variety多样性、Volume海量、Velocity快速、Vitality灵活、Value价值

Complexity   复杂

2、Hadoop背景

1、最早起源Nutch

2、2003、2004年谷歌发型2篇论文

        分布式文件系统(GFS)    处理海量存储

        分布式计算框架MapReduce    处理海量网页搜索计算问题

3、开源实现HDFS和MapReduce独立出Hadoop

3、Hadoop

广义:Hadoop为主的生态圈    Hadoop flume......

狭义:Apache Hadoop    http://hadoop.apache.org

4、Hadoop版本

Hadoop1.x:

    HDFS:分布式文件系统,存储

    MapReduce:分布式计算+资源调度和作业调度

Hadoop2.x:

    HDFS:存储

    MapReduce:计算

    Yarn:YetAnother    Resource Negotiate 资源调度和作业调度  

相关文章

  • Hadoop简介2018-05-13

    1、大数据概念 5V1CVariety多样性、Volume海量、Velocity快速、Vitality灵活、Val...

  • java大数据之hadoop

    一、Hadoop简介 1.1 Hadoop是什么 The Apache Hadoop project develo...

  • 大数据技术原理与应用:大数据处理架构Hadoop生态圈

    Hadoop生态圈 概述 Hadoop简介什么是Apache hadoop?Apache Hadoop项目是以可靠...

  • Hadoop简介

    什么是hadoop hadoop是apache下的一款开源分布式大数据处理框架,通过多台廉价机器搭建集群的方式 ,...

  • Hadoop简介

    Hadoop是一个Apache基金会所开发的分布式系统基础架构,具有高容错、高可靠性、高扩展性、高效、低成本等特点...

  • Hadoop简介

    从数据爆炸开始。。。 一、 第三次工业革命 第一次:18世纪60年代,手工工厂向机器大生产过渡,以蒸汽机的发明...

  • Hadoop简介

    Hadoop 介绍 Hadoop是Apache组织的一个分布式计算框架(java语言),其最核心的设计就是:HDF...

  • Hadoop简介

    Hadoop概述开源分布式计算平台,以HDFS、MapReduce为核心,为用户提供了系统底层细节透明的分布式基础...

  • hadoop简介

    Hadoop简介 *Hadoop 擅长处理一次写入,多次读出的数据 hadoop两大核心组件是 HDFS 和 ma...

  • Hadoop简介

    Hadoop产生的意义 随着信息社会的进步,信息数据的激增,海量数据的存储和分析成为难题,即使硬盘的存储容量不断提...

网友评论

    本文标题:Hadoop简介2018-05-13

    本文链接:https://www.haomeiwen.com/subject/xdcddftx.html