初始Hadoop

作者: 怀夕 | 来源:发表于2018-05-15 21:07 被阅读0次

一、大数据的定义

        大数据=5V+1C

        5V:variety(多样化),volume(海量),velocity(快速),vitality(灵活),value(价值)

        1C:complexity(复杂性)


二、hadoop的定义

       广义:以hadoop为主的生态圈,包括hadoop,flume......

       狭义:hadoop=Apache hadoop——网址:hadoop.apache.org


三、hadoop的三大组件

       三大组件:存储、计算、资源和作业调度

       hadoop的三个版本:hadoop1.x,hadoop2.x,hadoop3.x

       hadoop1.x:HDFS(存储)+MapReduce(计算、资源和作业调度)

       hadoop2.x:HDFS(存储)+MapReduce(计算)+YARN(资源和作业调度平台)

注:目前企业多用hadoop2.x,HDFS和MapReduce都是跑在YARN平台上。


相关文章

  • 初始Hadoop

    一、大数据的定义 大数据=5V+1C 5V:variety(多样化),volume(海量),velocity(...

  • 初始Hadoop

    1.Hadoop概述 是什么:Apache™Hadoop项目是可靠,可扩展,分布式计算、分布式存储的开源软件。Ap...

  • hive+mysql8.0元数据库初始化失败,mysql5.x与

    初始化操作报org.apache.hadoop.hive.metastore.HiveMetaException:...

  • ambari部署Hadoop集群

    ambari部署Hadoop集群 在三台初始机器上部署,具体安装配置过程参考之前的《Hadoop试验之虚拟机准备》...

  • 数据分析 、 节点管理 、 搭建NFS网关服务

    Hadoop Hadoop集群管理 集群架构图例 重新初始化集群 增加新的节点 购买云主机 主机IP地址配置new...

  • Hive学习记录

    hive-site.xml hive-env.sh 添加: HADOOP_HOME 初始化数据库: 测试连接:

  • Hadoop初始化和测试

    Hadoop添加环境变量 初始化文件系统类似于第一次使用优盘的时候,需要格式化。 输入命令 出现如下即成功格式化 ...

  • MapReduce计算模型

    在Hadoop中,用于执行MapReduce任务的机器角色有两个: JobTracker:用于调度工作的,初始化作...

  • "hello world" in Spark

    本文中所需初始环境请参照Spark Hadoop 环境搭建 hello word 几乎任何编程语言都会提供一个 “...

  • Spark文档总结

    1. RDD编程 初始化 RDD可以由Hadoop文件系统(hdfs://)、本地文件、Amazon S3(s3a...

网友评论

    本文标题:初始Hadoop

    本文链接:https://www.haomeiwen.com/subject/hrmydftx.html