美文网首页
Spark core源码分析--shuffle管理器

Spark core源码分析--shuffle管理器

作者: 倾听内心的声音 | 来源:发表于2019-08-19 23:48 被阅读0次

    1、shuffleManager其实本身就依赖于存储体系,但是功能与计算非常紧密,姑且认为它是计算引擎的一部分。

    ShuffleManager的实现类目前只有SortShuffleManager,因此现对它进行分析:

    spark2.4-490

    1.1 ShuffleWriter详解

    ShuffleWriter 是一个抽象类,包含一个write和stop方法,定义了map阶段的中间结果写到磁盘的规范。他包含了如下三个子类的实现。

    123

    1.2 MapStatus

    未完。。。。蛋疼的编辑器

    相关文章

      网友评论

          本文标题:Spark core源码分析--shuffle管理器

          本文链接:https://www.haomeiwen.com/subject/kyeysctx.html