操作场景
对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。
操作步骤
1、需要先配置External shuffle service。详情见www.jianshu.com/writer#/notebooks/15701476/notes/16127461
2、在“spark-defaults.conf”中必须添加配置项“spark.dynamicAllocation.enabled”，并将该参数的值设置为“true”，表示开启动态资源调度功能。默认情况下此功能关闭。
动态资源调度配置参数：
注意事项
● 使用动态资源调度功能，必须配置External Shuffle Service。如果没有使用External Shuffle
Service，Executor被杀时会丢失shuffle文件。
● 如果通过spark.executor.instances或者--num-executors指定了Executor的个数，即使配置了动态资源调度功能，动态资源调度功能也不会生效。
● 当前动态资源分配功能开启后，不能完全避免task被分配到即将要移除的executor，但是一般情况下只会导致该task失败，只有同一个task失败4次（可通过spark.task.maxFailures配置）才会导致job失败，所以正常情况下基本不会因为task被分配到即将要移除的executor导致job失败，并且可以通过调大spark.task.maxFailures来减小问题发生的概率。
网友评论