structured streaming运行一段时间后，就会出现OOM异常，虽然task会重新执行一次，但会导致系统内存监控报警，经过dump线上堆内存，用mat分析后发现一个占用大量内存的HashMap
image.png
搜索得知是spark2.3的一个bug，升级到2.4可解决
参考 https://www.cnblogs.com/yy3b2007com/p/10177774.html
structured streaming运行一段时间后，就会出现OOM异常，虽然task会重新执行一次，但会导致系统内存监控报警，经过dump线上堆内存，用mat分析后发现一个占用大量内存的HashMap
image.png
本文标题：spark 2.3 structured streaming 长
本文链接：https://www.haomeiwen.com/subject/womgzhtx.html
网友评论