Spark提交参数说明和常见优化
[https://blog.csdn.net/gamer_gyt/article/details/79135118
1.在提交任务时的几个重要参数
executor-cores：每个executor使用的内核数，默认为1
num-executors：启动executors的数量，默认为2
executor-memory：executor内存大小，默认为1G
driver-cores：driver使用内核数，默认为1
driver-memory：driver内存大小，默认为512M
2.提交任务的样式
/usr/local/spark/bin/spark-submit
--master local[5]
--driver-cores 2
--driver-memory 8g
--executor-cores 4
--num-executors 10 \
--executor-memory 8g
--class cn.spark.sparktest.core.WordCountCluster
--name "Spark job Name"
Input Path
OutputPath
网友评论