shuffer

作者: yayooo | 来源:发表于2019-07-30 20:44 被阅读0次

    当一个文件过大,需要分一些出去。打乱重组


    shuffer

    shuffer中,一个分区不是一个任务,原因:需要等待其他分区处理完。
    如上图中:有6个任务。(shuffer read 和 shuffer write各3个)
    shuffle一定溢写磁盘。
    spark计算结果基于内存。

    相关文章

      网友评论

          本文标题:shuffer

          本文链接:https://www.haomeiwen.com/subject/bsigrctx.html