Spark on Yarn Executor Cores、Nums、Memory优化配置
设置以上三个参数,除了计算集群的节点数、节点Cores和内存大小外,还需要考虑以下四点因素:
Hadoop/Yarn/OS Deamons:
spark使用yarn做资源管理,yarn后台使用一些守护进程中运行的,如NameNode,Secondary NameNode,DataNode,JobTracker和TaskTracker,因此在设置num-executors,需为每个节点预留1个core来保证这些守护进程平稳地运行。
Yarn ApplicationMaster(AM):
AM负责从ResourceManager申请资源,与NodeManager进行通信启动/停止任务,监控资源的使用。在Yarn上执行Spark也要考虑AM所需资源(1G和1个Executor)。
HDFS Throughput:
HDFS Client有多个并发线程写的问题,HDFS每个Executor的使用5个任务就可获取完全并发写。因此最好每个Executor的cores不高于5.
MemoryOverhead:
下面图片展示 spark-yarn-memory-usage
每个executor需要内存=spark-executor-memory+spark.yarm.executor.memoryOverhead
spark.yarm.executor.memoryOverhead=Max(384m,7%*spark.executor.memory)即大于等于384M
如果我们为每个executor申请20GB资源,实际上AM获取的资源20GB+7%*20GB=~23GB。
集群环境配置如下:
节点数:10个
每个节点Cores:16
每个节点RAM:64GB
方案1: 每个Executor分配一个Core
--num-executors= 16 x 10 = 160
--executor-cores= 1
--executor-memory = 64GB/16 = 4GB
方案分析:
一个Executor分配1个Core的情况,不能发挥相同JVM内运行多个tasks任务的优势。还有broadcast变量和accumulators会被复制到每个节点的每个core有16次(广播变量和累加器在不指定分区的情况下,会占用所有可用的core,core对应task,task对应partition)。这样也没有充足的资源为Yarn daemon processes和AM。
方案2: 每个Executor分配一个节点
--num-executors = 10
--executor-cores = 16
--executor-memory = 64GB/1 = 64GB
方案分析:
一个Executor分配16个Cores的情况,虽然没有AM和Yarn daemon资源分配问题,但是HFDS throughput将会受到不好的影响。并且会导致过重的GC问题。
方案3: 上述两种方案的折中
考虑到上述四点因素:
每个executors设5 cores,即—executor-cores = 5(HFDS throughput有更好的并发效果)
每个节点为Yarn daemons保留一个core,即每个节点可用cores为16-1=15个。
所以,集群当中可用的cores总数为10*15=150
executors数量=150/5=30
为AM保留一个executor,—num-executors=29
每个节点的executor数=30/10=3
每个节点的每个executor分配的内存=64G/3=21GB
去除heap overhead=7%*21GB=3GB
所以,—executor-memory=21-3=18GB
故,推荐参数配置:
—num-executors=29
—executor-core=5
—executor-memory=18GB
方案分析:
即能获得executors并行度又能实现最好的吞吐量。
总结:
--num-executors, --executor-cores and —executor-memory这些参数在spark运行过程中起到非常极其重要的作用,其影响到spark程序获得CPU和内存的使用。
参考:http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/
网友评论