4）（伪分布模式）启动YARN并运行MapReduce程序

1）需要修改配置文件

etc/hadoop/yarn-site.xml：

<configuration>

    <!-- 指定Reducer获取数据的方式 -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!-- 指定YARN的ResourceManager的地址 -->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop101</value> <!-- hadoop101为主机名称 -->

    </property>

</configuration>

2）对mapred-site.xml.template重新命名为mapred-site.xml并编辑

$ mv mapred-site.xml.template mapred-site.xml

$ vim mapred-site.xml

<!-- 制定MR运行在YARN上 -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

3）启动

    $ sbin/yarn-daemon.sh start resourcemanager

    $ sbin/yarn-daemon.sh start nodemanager 

如果启动报JAVA_HOME找不到，需要修改hadoop-env.sh配置文件和mapred-env.sh配置文件，手动指定JAVA_HOME环境变量

[${hadoop_home}/etc/hadoop/yarn-env.sh]

...

export JAVA_HOME=/soft/jdk

...

[${hadoop_home}/etc/hadoop/mapred-env.sh]

...

export JAVA_HOME=/soft/jdk

...

4）查看是否启动成功

    (a) jps 查看进程

        ...

        ResourceManager

        NodeManager

        ...

    (b) 浏览器查看：http://hadoop101:8088 (查看MapReduce)

配置历史服务器

etc/hadoop/mapred-site.xml 增加配置

<!-- 历史服务器端地址 -->

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hadoop101:10020</value>

</property>

<!-- 历史服务器web端地址 -->

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hadoop101:19888</value>

</property>

启动历史服务器

$ sbin/mr-jobhistory-daemon.sh start historyserver

jpa 查看

    ...

    JobHistoryServer

    ...

配置日志聚集（开启日志聚集需要重启NodeManager，ResourceManager和HistoryManager）

etc/hadoop/yarn-site.xml 增加配置

<!-- 开启日志聚集功能 -->

<property>

    <name>yarn.log-aggregation-enable</name>

    <value>true</value>

</property>

<!-- 日志保留时间设置7天(秒) -->

<property>

    <name>yarn.log-aggregation.retain-seconds</name>

    <value>604800</value>

</property>

重启NodeManager，ResourceManager和HistoryManager