BlockManager用来实际管理数据在内存在硬盘上的分布. 最小的管理单位是BlockId, 每个RDD本质上维护了一个array的BlockId, 每个ID都是一个指针, 指向某个Executor上的一片内存或者硬盘.
BlockManger向下操作着某一种Store作为Block的句柄, 像MemoryStore, DiskStore. 对应的, 通过MemoryWriter, DiskWriter写入数据.
写好了的Block信息会汇总到Driver端的BlockManagerMaster. 整体非常类似HDFS的结构.
BlockManagerMaster
TODO: BlockManager里的Store, 写入过程. 写到这里的时候感觉需要一个整体的流程图来解释spark的各个组件的协作关系. 在流程图没有绘制完之前, 这一块先不写了.
TODO: DAGScheduler->TaskScheduler->TaskMemoryManager->BlockManager->MemoryStore->MemoryWriter这条线的详解.
1. 概述 BlockManager用来实际管理数据在内存在硬盘上的分布. 最小的管理单位是BlockId, 每...
BlockManager BlockManager运行在每个节点上（包括Driver和Executor），提供对本...
通信层架构：每个节点BlockManager包含三个部分，blockmanager master、blockman...
架构简介 BlockManager 是一个嵌入在 spark 中的 key-value型分布式存储系统，是为 sp...
BlockManager shufflewrite & shufflereadhttps://www.cnblo...
BlockManager定义 BlockManager是Spark的分布式存储系统，与我们平常说的分布式存储系统是...
我们从这个入口开始分析，task对rdd开始处理。 SparkEnv.get.cacheManager.getOr...
BlockManager为Spark 存储block主要类，和HDFS类似点： 三份数据存储时，本机，本RACK，...
block replica默认随机存储： BlockManager.scala def initialize(a...
BlockManager 创建时机 Master 创建时机 在 driver 端，构造 SparkContext ...
本文标题：7.1 BlockManager
本文链接：https://www.haomeiwen.com/subject/jdxbqqtx.html
网友评论