美文网首页
Spark任务报错Total size of serialize

Spark任务报错Total size of serialize

作者: 香山上的麻雀 | 来源:发表于2019-11-20 08:54 被阅读0次

    spark任务提交后信息报错:
    Total size of serialized results of 19 tasks (1069.2 MB) is bigger than spark.driver.maxResultSize (1024M)
    解决办法:
    在代码中加设置或者在提交命令的时候加设置

    • 方法一


    • 方法二
      提交命令的时候加上
      --conf spark.driver.maxResultSize=2048M

    相关文章

      网友评论

          本文标题:Spark任务报错Total size of serialize

          本文链接:https://www.haomeiwen.com/subject/bnmnictx.html