Spark内存管理

作者: clive0x | 来源:发表于2019-06-17 23:39 被阅读0次

spark统一内存管理器UnifiedMemoryManager
漫谈Spark内存管理（二）
Spark Shuffle
Spark源码分析十三-内存管理模型
漫谈Spark内存管理(三) ：存储内存在哪些地方用到？
spark 内存管理
spark 基础四：内存分配
Spark内存管理
spark内存管理笔记摘抄
Spark统一内存管理

MemoryManager下两个子类：

１.UnifiedMemoryManager 2.StaticMemoryManager

默认使用UnifiedMemoryManager，execution memory和storage memory可以相互抢占。

配置参数：

Spark内存：spark.memory.fraction　（0.6）（系统内存-300M resoved内存）*0.6

Storage占用内存。spark.memory.storageFraction (0.6)

开启offheap内存：spark.memory.offHeap.enabled

offheap内存大小设置:spark.memory.offHeap.size

spark统一内存管理器UnifiedMemoryManager
在1.6版本之前spark采用静态内存管理器StaticMemoryManager进行内存管理，而在之后spark...
漫谈Spark内存管理（二）
在漫谈Spark内存管理(一)中，概述了Spark内存管理做的事情，并着重对unroll memory的概念做了解...
Spark Shuffle
Spark 内存管理和消费模型 Spark Shuffle 过程 Spark Shuffle OOM 可能性分析 ...
Spark源码分析十三-内存管理模型
在分析spark内存管理源码之前，先来了解下，统一内存模型原理性的知识，spark在3.0版本移除了静态内存管理的...
漫谈Spark内存管理(三) ：存储内存在哪些地方用到？
漫谈Spark内存管理(一)有提到问题：“Spark中用到内存的地方有哪些？存储内存主要消耗在哪些地方？执行内存主...
spark 内存管理
内容目录 JVM 內存使用架构剖析 Spark 1.6.x以前版本内存管理 Spark on Yarn 计算内存使...
spark 基础四：内存分配
Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理...
Spark内存管理
本文基于Spark 1.6.0之后的版本Spark 1.6.0引入了对堆外内存的管理并对内存管理模型进行了改进，S...
spark内存管理笔记摘抄
spark内存使用大小管理 MemoryManager 的具体实现上，Spark 1.6 之后默认为统一管理（Un...
Spark统一内存管理
spark从1.6.0开始内存管理发生了变化，原来的内存管理由StaticMemoryManager实现，现在被称...