当一个文件过大,需要分一些出去。打乱重组
shuffer
shuffer中,一个分区不是一个任务,原因:需要等待其他分区处理完。
如上图中:有6个任务。(shuffer read 和 shuffer write各3个)
shuffle一定溢写磁盘。
spark计算结果基于内存。
当一个文件过大,需要分一些出去。打乱重组
shuffer中,一个分区不是一个任务,原因:需要等待其他分区处理完。
如上图中:有6个任务。(shuffer read 和 shuffer write各3个)
shuffle一定溢写磁盘。
spark计算结果基于内存。
本文标题:shuffer
本文链接:https://www.haomeiwen.com/subject/bsigrctx.html
网友评论