1）需要修改配置文件
etc/hadoop/yarn-site.xml：
<configuration>
<!-- 指定Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value> <!-- hadoop101为主机名称 -->
</property>
</configuration>
2）对mapred-site.xml.template重新命名为mapred-site.xml并编辑
$ mv mapred-site.xml.template mapred-site.xml
$ vim mapred-site.xml
<!-- 制定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3）启动
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
如果启动报JAVA_HOME找不到，需要修改hadoop-env.sh配置文件和mapred-env.sh配置文件，手动指定JAVA_HOME环境变量
[${hadoop_home}/etc/hadoop/yarn-env.sh]
...
export JAVA_HOME=/soft/jdk
...
[${hadoop_home}/etc/hadoop/mapred-env.sh]
...
export JAVA_HOME=/soft/jdk
...
4）查看是否启动成功
(a) jps 查看进程
...
ResourceManager
NodeManager
...
(b) 浏览器查看：http://hadoop101:8088 (查看MapReduce)
配置历史服务器
etc/hadoop/mapred-site.xml 增加配置
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>
启动历史服务器
$ sbin/mr-jobhistory-daemon.sh start historyserver
jpa 查看
...
JobHistoryServer
...
配置日志聚集（开启日志聚集需要重启NodeManager，ResourceManager和HistoryManager）
etc/hadoop/yarn-site.xml 增加配置
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天(秒) -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
重启NodeManager，ResourceManager和HistoryManager
网友评论