Hadoop

作者: 翔战士 | 来源:发表于2018-01-06 14:16 被阅读0次

    创始人:DougCutting 道格。卡丁

    起源于Nutch(开源网络搜索引擎)

    铺垫:谷歌两篇论文1.GFS(分布式文件系统) 2.MapReduce

    定义:开源的软件平台,开源的软件框架

    Hadoop优势

     数据存储:数据块多副本

     数据计算:重新调度计算

     扩展性

     降低成本

    Hadoop目前作用:

    搜索引擎 百度,谷歌

    大数据存储 云存储

    大数据研究 数据分析 数据挖掘

    科学研究 Strom Spark Flink

    hadoop生态系统

    hdfs 分布式文件系统

    yarn 资源管理调度系统

    MapReduce 分布式计算框架

    storm 流式处理框架(实时)

    spark 基于内存的计算框架

    hbase实时分布式数据库

    Hive关系式数据库

    Pig脚本语言(过程)

    Solr搜索

    相关文章

      网友评论

        本文标题:Hadoop

        本文链接:https://www.haomeiwen.com/subject/zejynxtx.html