美文网首页大数据我爱编程大数据
hadoop(2)--伪分布式集群安装

hadoop(2)--伪分布式集群安装

作者: ROCK_杰哥 | 来源:发表于2018-04-03 00:20 被阅读126次

    1,将hadoop安装包上传到服务器上,我采用的是2.4.1,是一个比较老的版本,能说明问题就可以啦,解压:tar -zxvf hadoop-2.4.1.tar.gz -C app/ 将安装包解压到app目录下

    现在进入app中的hadoop-2.4.1,认识一下hadoop都有什么东西

    进入etc配置文件  cd etc/hadoop

    还有一个hadoop-env.sh这个是hadoop的环境配置,正式开车,撸起袖子配置

    ①,要给hadoop配置jdk,因为hadoop使用java开发的,肯定需要jdk,好了安装jdk

    将下载的jdk上传到服务器并解压

    tar -zxvf jdk-8u161-linux-x64.tar.gz -C app/

    配置环境变量

    sudo vi /etc/profile

    在末尾加上

    export JAVA_HOME=/home/songlj/app/jdk1.8.0_161

    export PATH=$PATH:$JAVA_HOME/bin

    生效:source /etc/profile

    测试是否安装成功java -version

    如上图,则说明安装成功!

    接下来就是配置hadoop的环境   vi hadoop-env.sh

    修改JAVA_HOME

    修改完,保存,进入第二部

    ②,核心配置,core-site.xml

    ③,修改hdsf-site.xml

    ④,配置mapred-sit.xml

    mv mapred-site.xml.template mapred-site.xml

    vi mapred-site.xml

    ⑤,配置yarn,[资源调度的框架]yarn-site.xml

    这样就配置完了

    文件系统初次使用需要格式化,hdfs也不例外

    hdfs namenode -format

    看到successfully就是格式化成功了

    那么现在就启动 start-dfs.sh

    每次询问都需要输入密码,依次是nameNode   datanode   secondNameNode

    测试yarn   start-yarn.sh

    到这里伪分布式集群已经安装完毕

    望指正,不吝赐教

    相关文章

      网友评论

        本文标题:hadoop(2)--伪分布式集群安装

        本文链接:https://www.haomeiwen.com/subject/pmyfhftx.html