配置日志聚集

所谓日志聚集，就是指应用运行完以后，将程序的运行日志信息上传到HDFS系统上。日志聚集可以方便的查看程序的运行详情，方便开发调试。

开启日志聚集，需要重启NodeManager、ResourceManager和HistoryManager。

---

开启步骤

1. 配置yarn-site.xml文件

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2. 关闭NodeManager、ResourceManager和HistoryManager。

$ sbin/yarn-daemon.sh stop resourcemanager
$ sbin/yarn-daemon.sh stop nodemanager
$ sbin/yarn-daemon.sh stop historyserver

3. 重新开启NodeManager、ResourceManager和HistoryManager。

$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
$ sbin/yarn-daemon.sh start historyserver

4.删除HDFS上已经存在的输出文件

$ bin/hdfs dfs -rm -R /user/hadoop1/output

5.执行WordCount案例

---

配置文件说明

Hadoop配置文件分为两类：默认配置文件和自定义配置文件，当用户想修改某一默认配置值时，需要修改自定义配置文件。

1. 默认配置文件

• core-default.xml：hadoop-common.x.x.x.jar/core-default.xml
• hdfs-default.xml：hadoop-hdfs-x.x.x.jar/hdfs-default.xml
• yarn-default.xml：hadoop-yarn-common-x.x.x.jar/yarn-default.xml
• mapred-default.xml：hadoop-mapreduce-client-core-x.x.x.jar/mapred-default.xml

2. 自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop路径下，并且自定义配置文件的优先级高（覆盖默认配置）。