YARN环境的搭建

作者: 陈_志鹏 | 来源:发表于2017-11-17 14:54 被阅读310次

    YARN环境的搭建

    搭建的简介:

    搭建YARN的过程也非常的简单,因为我已经搭建过HDFS系统了整个流程只需要改配置文件就行了如果HDFS的环境没有弄好可以参考我的《HDFS环境搭建》

    在Hadoop集群的NameNode配置Yarn

    在Hadoop配置目录下,也就是hadoop-2.7.3/etc/hadoop
    编辑一个文件叫 mapred-site.xml.template 在configuration标签中加入Yarn的配置

    vim mapred-site.xml.template

    <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    </configuration>
    

    在Hadoop集群的DataNode配置Yarn

    在Hadoop配置目录下编辑一个文件叫yarn-site.xml

    vim yarn-site.xml

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    
    </configuration>
    

    启动Yarn集群

    因为我在《HDFS环境搭建》已经配置好了slaves文件 所以我可以通过一个命令让整个yarn起来。

    回到NameNode节点上输入启动命令

    start-yarn.sh

    15109008018276.jpg

    检查yarn节点情况:
    在游览器输入 http://192.168.56.101:8088
    默认是 你的NameNode的ip + 8088端口


    15109010016382.jpg

    见到以上图片就说明你的yarn起来了。

    检查节点情况、在Cluster菜单中点击Nodes


    15109010746033.jpg

    你会发现你的NodeManager已经正在运行了


    15109011739143.jpg

    yarn的配置就完成了。

    相关文章

      网友评论

        本文标题:YARN环境的搭建

        本文链接:https://www.haomeiwen.com/subject/wmdjvxtx.html