spark动态资源分配

spark动态资源分配默认是不开启的，并且只要设置了num-executors设置了作业的executor数，就不再有效；
http://spark.apache.org/docs/latest/configuration.html#dynamic-allocation
作业中设置，需要在conf中加入以下配置项：

spark.dynamicAllocation.enabled	false	是否要开启DRA功能，要开启则设置为true，设置为true需要将spark.shuffle.service.enabled
设置为true；
spark.dynamicAllocation.executorIdleTimeout	60s	executor空闲多长时间就被移除释放
spark.dynamicAllocation.cachedExecutorIdleTimeout	infinity	这个要考虑cache数据的时候，有cache数据要空闲多长时间才能移除；默认无限，首先保证cache的数据后面操作需要的时候是不能移除的，这个要注意；
spark.dynamicAllocation.initialExecutors	spark.dynamicAllocation.minExecutors	初始化的executor数
spark.dynamicAllocation.maxExecutors	infinity	动态的时候最多executor数
spark.dynamicAllocation.minExecutors	0	动态的时候最少executor数
spark.dynamicAllocation.schedulerBacklogTimeout	1s	表示积压多久任务的时候要新申请executor
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout	schedulerBacklogTimeout

例如：

spark.shuffle.service.enabled true //启用External shuffle Service服务
spark.shuffle.service.port 7337 //Shuffle Service服务端口，必须和yarn-site中的一致
spark.dynamicAllocation.enabled true //开启动态资源分配
spark.dynamicAllocation.minExecutors 1 //每个Application最小分配的executor数
spark.dynamicAllocation.maxExecutors 30 //每个Application最大并发分配的executor数
spark.dynamicAllocation.schedulerBacklogTimeout 1s
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 5s

动态资源分配策略：

开启动态分配策略后，application会在task因没有足够资源被挂起的时候去动态申请资源，这种情况意味着该application现有的executor无法满足所有task并行运行。spark一轮一轮的申请资源，当有task挂起或等待spark.dynamicAllocation.schedulerBacklogTimeout(默认1s)时间的时候，会开始动态资源分配；之后会每隔spark.dynamicAllocation.sustainedSchedulerBacklogTimeout(默认1s)时间申请一次，直到申请到足够的资源。每次申请的资源量是指数增长的，即1,2,4,8等。

之所以采用指数增长，出于两方面考虑：其一，开始申请的少是考虑到可能application会马上得到满足；其次要成倍增加，是为了防止application需要很多资源，而该方式可以在很少次数的申请之后得到满足。

资源回收策略

当application的executor空闲时间超过spark.dynamicAllocation.executorIdleTimeout（默认60s）后，就会被回收。