Spark-HistoryServer在运行过程中会打印自身进程的日志，这里是指打印在${SPARK_HOME}/logs目录下，名称为spark-spark-org.apache.spark.deploy.history.HistoryServer-1-node.hostname.out的日志，非eventLog。这个日志在Spark层面没有做相应的控制，也没有相应的参数做调优。这种情况下该日志文件会无限增长，最终将磁盘打满。前面我分享过一篇关于Driver/Executor日志控制的文章（在这里），这篇算是姊妹篇吧。
明确问题后，解决的思路就是更改其日志输出策略，修改${SPARK_HOME}/conf下面的log4j.properties策略。我这边这个文件只做HistoryServer的日志控制，所以可以做一下简单的修改：
log4j.rootLogger=info,historyserver log4j.appender.historyserver=org.apache.log4j.RollingFileAppender log4j.appender.historyserver.layout=org.apache.log4j.PatternLayout log4j.appender.historyserver.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n log4j.appender.historyserver.Threshold=INFO log4j.appender.historyserver.ImmediateFlush=TRUE log4j.appender.historyserver.Append=TRUE log4j.appender.historyserver.File=${SPARK_HOME}/logs/historyserver.log log4j.appender.historyserver.MaxFileSize=1GB log4j.appender.historyserver.MaxBackupIndex=2 log4j.appender.historyserver.Encoding=UTF-8
这样日志就能滚动输出循环删除了，最多保留2个，每个1G大小
如果上面的log4j.properties还有其他策略需要配置，那就需要吧HistoryServer中相应的进程类做日志路由了，即指定类名的日志输出，比如：
log4j.logger.org.apache.spark.deploy.history.HistoryServer=info,historyserver
网友评论