美文网首页大数据我爱编程大数据
hadoop(2)--伪分布式集群安装

hadoop(2)--伪分布式集群安装

作者: ROCK_杰哥 | 来源:发表于2018-04-03 00:20 被阅读126次

1,将hadoop安装包上传到服务器上,我采用的是2.4.1,是一个比较老的版本,能说明问题就可以啦,解压:tar -zxvf hadoop-2.4.1.tar.gz -C app/ 将安装包解压到app目录下

现在进入app中的hadoop-2.4.1,认识一下hadoop都有什么东西

进入etc配置文件  cd etc/hadoop

还有一个hadoop-env.sh这个是hadoop的环境配置,正式开车,撸起袖子配置

①,要给hadoop配置jdk,因为hadoop使用java开发的,肯定需要jdk,好了安装jdk

将下载的jdk上传到服务器并解压

tar -zxvf jdk-8u161-linux-x64.tar.gz -C app/

配置环境变量

sudo vi /etc/profile

在末尾加上

export JAVA_HOME=/home/songlj/app/jdk1.8.0_161

export PATH=$PATH:$JAVA_HOME/bin

生效:source /etc/profile

测试是否安装成功java -version

如上图,则说明安装成功!

接下来就是配置hadoop的环境   vi hadoop-env.sh

修改JAVA_HOME

修改完,保存,进入第二部

②,核心配置,core-site.xml

③,修改hdsf-site.xml

④,配置mapred-sit.xml

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

⑤,配置yarn,[资源调度的框架]yarn-site.xml

这样就配置完了

文件系统初次使用需要格式化,hdfs也不例外

hdfs namenode -format

看到successfully就是格式化成功了

那么现在就启动 start-dfs.sh

每次询问都需要输入密码,依次是nameNode   datanode   secondNameNode

测试yarn   start-yarn.sh

到这里伪分布式集群已经安装完毕

望指正,不吝赐教

相关文章

  • hadoop成长笔记

    [2018/08/07]1. 伪分布集群的安装 介绍:Hadoop三种运行模式安装:Hadoop(二)搭建伪分布式...

  • Hadoop安装指南

    hadoop单机/伪分布式安装指导链接: hadoop集群安装 HDFS学习资源: HDFS入门 Hbase学习资...

  • Hadoop分布式集群搭建

    Hadoop分布式集群和前面的伪分布式安装方法类似,Hadoop用户创建,ssh配置,java环境安装,Hadoo...

  • 环境搭建小攻略

    Hadoop的学习使用,提供大概思路; Hadoop的安装和配置 Hadoop的核心架构 伪分布式集群配置 完全分...

  • 手动部署Hadoop2分布式集群和YARN集群管理命令

    一、手动部署集群 安装多个节点Hadoop-YARN集群与安装单个节点(伪分布式模型)的方式类似。集群模型中,主节...

  • ZooKeeper集群搭建

    Hadoop集群基础配置 hadoop伪分布式系统配置VM安装Linux虚拟机环境VM克隆Linux虚拟机集群配置...

  • hadoop 伪分布式搭建指南

    简述 hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。伪分布式模式将hadoop安装在一台...

  • hadoop集群环境搭建之完全分布式集群环境搭建(二)

    hadoop集群环境搭建之完全分布式集群环境搭建(二) 我们在上一篇 hadoop集群环境搭建之伪分布式集群环境搭...

  • 建立伪分布式hbase集群

    建立伪分布式hbase集群 目标 建立hadoop伪分布式集群,挂载主机目录做为数据目录,暴露9000端口做为数据...

  • 大数据Hadoop面试题(一)

    1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生...

网友评论

    本文标题:hadoop(2)--伪分布式集群安装

    本文链接:https://www.haomeiwen.com/subject/pmyfhftx.html