美文网首页
最全hadoop架构总结

最全hadoop架构总结

作者: 堂哥000 | 来源:发表于2018-09-22 19:26 被阅读181次

一、什么是Hadoop?它包含哪些模块?
① Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构;
②主要解决,海量数据的存储和海量数据的分析计算问题。
③广义上来说,HADOOP 通常是指一个更广泛的概念——HADOOP 生态圈
hadoop包括四个模块:
Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。
Hadoop MapReduce:一个分布式的离线并行计算框架。
Hadoop YARN:作业调度与集群资源管理的框架。(相当于集群操作系统)
Hadoop Common:支持其他模块的工具模块(Configuration、RPC、序列化机制、日志操作)
二、Hadoop本地模式和伪分布模式有何区别?
①hadoop本地模式中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。
②hadoop伪分布模式:伪分布式(Pseudo)适用于开发和测试环境,等同于完全分布式,只有一个节点。在这个模式中,所有守护进程都在同一台机器上运行。但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。
三、什么是Linux的克隆?什么是快照?克隆一台Linux需要修改哪些内容?
克隆:重新建一个虚拟机与原虚拟机完全相同。
快照:保存当前虚拟机的当前状态,为以后的还原提供一个节点,可以将虚拟机还原到建立快照的时间点上。
克隆后需要修改:
1、修改主机名 vi /etc/sysconfig/network
2、修改网卡: vim /etc/udev/rules.d/70-persistent-net.rules //删0,改1为0
3、修改ip: vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR= 网卡中mac地址
IPADDR=实际ip
GATEWAY=192.168.x.2
ONBOOT=yes
BOOTPROTO=static //BOOTPROTO=none
DNS1=192.168.1.2//114.114.114.114//8.8.8.8
四、Hadoop全分布模式操作步骤

相关文章

  • 最全hadoop架构总结

    一、什么是Hadoop?它包含哪些模块?① Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架...

  • 大数据基础概念

    1、什么是大数据? 2、Hadoop是什么? 3、Hadoop核心 4、HDFS总结 5、Hadoop基础架构 H...

  • 大数据 Haddoop(二) 架构与原理

    Haddoop架构与原理 Hadoop架构 架构概述 Hadoop V1.0核心: HDFS MapReduce ...

  • Hadoop系统架构与简单介绍

    Hadoop系统架构一、Hadoop系统架构图 YARN架构:ResourceManager–处理客户端请求–启动...

  • flume架构总结

    flume架构总结 介绍flume之前先看一下Hadoop业务的整体流程开发: 从hadoop的业务流程图中可以看...

  • Hadoop系统架构

    一、Hadoop系统架构图 Hadoop1.0与hadoop2.0架构对比图 YARN架构: 在这里还是要推荐下我...

  • Hadoop生态系统主要架构图汇总

    Hadoop生态系统主要架构图汇总 [toc] 1 hadoop1.0时期架构 2 hadoop2.0时期架构 3...

  • 初认hadoop

    什么是hadoop? hadoop = teh hadoop projects hadoop体系架构生态圈主要包含...

  • 大数据day05 Hadoop

    Hadoop Hadoop是分布式的系统架构 1.Hadoop组成: Hadoop = hdfs(存储) + ma...

  • Yarn

    5.1 Hadoop1.x和Hadoop2.x架构区别 在Hadoop1.x时代,Hadoop中的MapReduc...

网友评论

      本文标题:最全hadoop架构总结

      本文链接:https://www.haomeiwen.com/subject/kuvfnftx.html