在工作时会遇到log4j日志输出，后台进程中，只有通过日志来分析程序中的问题，日志分为系统日志和业务日志，一般log4j配置是：log4j.rootLogger=INFO;需要在海量的日志中，获取需要的信息，我们又应该怎么做呢？
》对错误日志单独输出
日志有级别和格式的划分，一般通过日志筛选都可以定向的把错误日志输出，如下日志输出：
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release
Java HotSpot(TM) 64-Bit Server VM warning: CMSFullGCsBeforeCompaction is deprecated and will likely be removed in a future release.
Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release
.Java HotSpot(TM) 64-Bit Server VM warning: CMSFullGCsBeforeCompaction is deprecated and will likely be removed in a future release.
Logging initialized using configuration in jar:file:/home/gzdacp/hive-ocdp3.5.1/lib/hive-common-1.1.0.jar!/hive-log4j.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/gzdacp/hadoop-ocdp3.5.1/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/Stati
cLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/gzdacp/hive-ocdp3.5.1/lib/hive-jdbc-1.1.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.c
lass]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:472)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:671)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:615)
为了获取报错信息
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
在crt上编写sh：
#!/bin/bash
current_dir=/home/gzdacp/logs
grep -Ev "warning|SLF4J|slf4j" ${current_dir}/data.`date -d "1 days ago" +%Y-%m-%d`.log >${current_dir}/error_`date -d "1 days ago" +%Y%m%d`.log
其次创建crontab定时调度：
00 03 * * * sh /home/gzdacp/logs/logerror.sh
这样每天凌晨三点的时候就会生成前一天的错误文件：error_yyyymmdd.log，每天只需要检测此文件就知道前一天的报错情况
》对重要信息进行提取
当然除了对错误日志进行单独输入外，根据输出的内容也可以提取不同的数据信息，帮助我们分析程序的运行情况，比如调用量，比如访问时间等，由于每个环境的日志输出不一样，获取日志信息方法很多，awk,tr,cut在此就不一一列出
》对日志主机上的日志进行定期维护
由于日志会越积越多，如果程序没有定期删除日志功能，就需要我们写sh维护日志logclear.sh
第一步；
对前两天的data.yyyy-mm-dd.log进行压缩
for i in `find /home/gzdacp/logs -ctime +2 -name 'data.*.log' -print`;do
echo "************logclear.sh*********查找日志文件满足条件需要压缩的日志文件*******"
echo $i
if [ -n $i ];then
gzip $i
fi
done
第二步：
保留10天的压缩文件
for j in `find /home/gzdacp/logs -ctime +10 -name 'data.*.log.gz' -print`;do
echo "************logclear.sh*********查找日志文件满足条件需要压缩的日志文件*******"
echo $j
if [ -n $j ];then
rm -rf $j
fi
done
第三步：
crontab定时调度维护日志sh
00 04 * * * sh /home/gzdacp/logs/logclear.sh
这样每天凌晨四点就会对日志进行压缩和删除，自动管理日志目录
以上就是通过shell对日志文件进行基本的管理，能灵活的管理后台日志，并清晰的展现后台运行情况，帮助管理和维护系统的稳定性
网友评论