美文网首页
真正解决spark local模式的日志级别输出问题

真正解决spark local模式的日志级别输出问题

作者: 小狼星I | 来源:发表于2018-12-21 15:33 被阅读0次

真正解决spark local模式的日志级别输出问题

在IDEA中开发Spark程序,程序一执行密密麻麻的Info日志一大堆,这让人很恶心,如下图:


image

很早以前就解决过一次,不过谷歌百度都没有真正的解决这个问题,试过无数遍的将log4j.properties文件放在工程的resources目录下都没用,绝望之际打开spark工程源代码,直接搜索log4j-defaults.properties文件位置,如下图:


image

spark工程源码中的log4j-defaults.properties是放在resources目录下的org.apapche.spark下,看到这个目录结构我在想我可以尝试下在我工程的resources目录下也建立org.apapche.spark目录,并将log4j-defaults.properties放在这个目录下,如下图所示:


image

然后修改log4j-defaults.properties:


image

再次运行spark程序,Info日志被过滤,OK!完美解决,记得要把resources目录设置为Source:


image
image

相关文章

网友评论

      本文标题:真正解决spark local模式的日志级别输出问题

      本文链接:https://www.haomeiwen.com/subject/bzamkqtx.html