spark任务提交后信息报错:
Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M)
解决办法:
在代码中加设置或者在提交命令的时候加设置
-
方法一
- 方法二
提交命令的时候加上
--conf spark.driver.maxResultSize=2048M
spark任务提交后信息报错:
Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M)
解决办法:
在代码中加设置或者在提交命令的时候加设置
方法一
本文标题:Spark任务报错Total size of serialize
本文链接:https://www.haomeiwen.com/subject/bnmnictx.html
网友评论