Hadoop总结 五 配置历史服务器 配置集群日志

Hadoop总结 五 配置历史服务器 配置集群日志

5.1 配置历史服务器

1. 配置mapred-site.xml

   在该文件中增加如下配置

   <!-- 历史服务器端地址 -->
   <property>
       <name>mapreduce.jobhistory.address</name>
       <value>hadoop103:10020</value>
   </property>
   
   <!-- 历史服务器web端地址 -->
   <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>hadoop103:19888</value>
   </property>
   

2. 分发配置

   xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
   

3. 启动历史服务器

   mapred --daemon start historyserver
   

4. 查看历史服务器是否启动

   jps
   

5. 在web端查看Jobhistory

   http://hadoop103:19888/jobhistory

6. 关闭历史服务器

   mapred --daemon stop historyserver
   

5.2 配置日志服务器

1. 概述

   日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

   日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

   注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

2. 配置yarn-site.xml

   在文件中增加

   <!-- 开启日志聚集功能 -->
   <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
   </property>
   <!-- 设置日志聚集服务器地址 -->
   <property>  
       <name>yarn.log.server.url</name>  
       <value>http://hadoop103:19888/jobhistory/logs</value>
   </property>
   <!-- 设置日志保留时间为7天 -->
   <property>
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>604800</value>
   </property>
   

3. 分发配置

   xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
   

4. 关闭NameNode,resourceManager,HistoryServer

   stop-yarn.sh
   mapred --daemon stop historyserver
   

5. 启动4.

   start-yarn.sh
   mapred --daemon start historyserver
   

6. 删除HDFS上已经存在的输出文件

   hadoop fs -rm -r /output
   

7. 执行Wordcount程序

   hadoop jar  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
   

8. 查看日志

   http://hadoop103:19888/jobhistory