美文网首页
一句话了解Hadoop

一句话了解Hadoop

作者: 井地儿 | 来源:发表于2019-04-01 21:18 被阅读0次

Hadoop是一个开源框架,用来在分布式环境中存储和计算处理大型数据。由此可见Hadoop主要有两个功能:一个存储一个是计算。其实Hadoop正是包含两个模块:一个是分布式文件系统(HDFS),一个是分布式数据计算框架(MapReduce)。

  • MapReduce:mapreduce是一种并行编程模型,用来在大型集群环境中处理大型结构化,半结构化以及非结构化数据。
  • HDFS:分布式文件系统,用于存储和处理数据集,提供了一个可容错的运行在普硬件上的文件系统。

Hadoop生态系统:

  • Yarn
  • HDFS
  • MapReduce
  • Hive
  • Hbase
  • Pig
  • Sqoop
  • Flume
  • Zookeeper

相关文章

网友评论

      本文标题:一句话了解Hadoop

      本文链接:https://www.haomeiwen.com/subject/xqgbbqtx.html