真正解决spark local模式的日志级别输出问题
在IDEA中开发Spark程序,程序一执行密密麻麻的Info日志一大堆,这让人很恶心,如下图:

很早以前就解决过一次,不过谷歌百度都没有真正的解决这个问题,试过无数遍的将log4j.properties文件放在工程的resources目录下都没用,绝望之际打开spark工程源代码,直接搜索log4j-defaults.properties文件位置,如下图:

spark工程源码中的log4j-defaults.properties是放在resources目录下的org.apapche.spark下,看到这个目录结构我在想我可以尝试下在我工程的resources目录下也建立org.apapche.spark目录,并将log4j-defaults.properties放在这个目录下,如下图所示:

然后修改log4j-defaults.properties:

再次运行spark程序,Info日志被过滤,OK!完美解决,记得要把resources目录设置为Source:


网友评论