漫谈Spark内存管理(一)有提到问题：“ Spark中用到内存的地方有哪些？存储内存主要消耗在哪些地方？执行内存主要消耗在哪些地方？”。本文就从存储内存使用的角度聊聊spark中哪些地方需要用到存储内存。

MemoryManger.acqurieStorageMemory的调用

我们知道，spark中使用内存之前必须先通过MemoryManager申请内存，那么从MemoryManager的acquire系列方法就可以找出哪些地方有申请内存。MemoryManager有三个acquire方法，分别是acquireStorageMemory, acquireUnrollMemory, acquireExecutionMemory. 其中，acquireUnrollMemory就是直接调用了acquireStorageMemory方法(针对UnifiedMemoryManager而言)。

本文主要讨论acquireStorageMemory的调用路径。除了UnifiedMemoryManager.acquireUnrollMemory外，acquireStorageMemory方法在MemoryStore中有两处调用，一个是在MemoryStore.putBytes中：

MemoryStore.putBytes

另一处在MemoryStore.putIterator中：

MemoryStore.putIterator

我们以MemoryStore.putIterator的调用路径为例（MemoryStore.putBytes的调用路径和MemoryStore.putIterator大体相似，感兴趣的童鞋可以自行查阅源码），分析存储内存申请主要来自哪些模块。

RDD block相关的存储内存申请

1) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsBytes -> MemoryStore.putIterator

2) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

3) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

4) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate -> BlockManager.get -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

5) ShuffleMapTask/ResultTask.runTask -> RDD.iterator -> RDD.getOrCompute -> RDD.computeOrReadCheckpoint -> WriteAheadLogBackedBlockRDD.compute -> WriteAheadLogBackedBlockRDD.compute$getBlockFromWriteAheadLog -> blockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析：当RDD的storage level包括memory时（也就是调用了RDD.cache或RDD.persist将RDD数据缓存到了memory中），Task在计算得到RDD分区数据时会申请存储内存将数据缓存在内存中。

Broadcast block相关的存储内存申请

1) TorrentBroadcast.writeBlocks -> BlockManager.putSingle -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

2) TorrentBroadcast.readBroadcastBlock -> BlockManager.putSingle -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

3) TorrentBroadcast.readBroadcastBlock -> BlockManager.getLocalValues -> BlockManager.maybeCacheDiskValuesInMemory -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析：对广播变量进行存储/缓存也会用到存储内存。

RDD block Replication相关的存储内存申请

1) NettyBlockRpcServer.receive -> BlockDataManager.putBlockData -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

2) NettyBlockRpcServer.receiveStream -> BlockDataManager.putBlockDataAsStream -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析：当RDD的storage level中的_replication大于1时，BlockManager需要将block数据发到另一个远程结点以备份，此时BlockManager会向远程结点发送UploadBlock消息，远程结点在收到该消息后会申请存储内存以存放收到的block数据。

Task运行结果数据相关的存储内存申请

TaskRunner.run -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析：TaskRunner处理task结果数据时，如果task结果数据大于maxDirectResultSize，则会将其存储到本地blockManager，然后将block的meta数据返回给driver，并且这个时候用的storeage level是MEMORY_AND_DISK_SER， 所以会向MemoryManager申请存储内存。

Streaming receiver相关的存储内存申请

1) ReceiverSupervisorImpl.pushAndReportBlock -> BlockManagerBasedBlockHandler.storeBlock -> BlockManager.putIterator -> BlockManager.doPutIterator -> MemoryStore.putIteratorAsBytes -> MemoryStore.putIterator

2) ReceiverSupervisorImpl.pushAndReportBlock -> BlockManagerBasedBlockHandler.storeBlock -> BlockManager.putBytes -> BlockManager.doPutBytes -> MemoryStore.putIteratorAsValues -> MemoryStore.putIterator

分析：Spark streaming中的receiver-based模式下，ReceiverSupervisorImpl类也会申请存储内存以存放block数据，这部分后面写到spark streaming相关文章，再详细讨论。

说明

1. 本文源码分析基于spark 2.4.0版本

2. 如有错误，望读者指出