2021-05-02

bin/spark-submit
--classcom.huawei.cluster\
--masteryarn-cluster\
--driver-cores2\
--driver-memory30G\
--confspark.shuffle.service.ennabled=true

--confspark.memory.storageFraction=0.30 \
--confspark.memory.fraction=0.7 \
--confspark.default.parallelism=2800\
--confspark.sql.shuffle.partitions1=1400\
--confspark.yarn.executor.memeoryOverhead=4096\
--executor-memory30g \
--executor-cores8 \
--num-executors20\

• 默认 : 55开,预留300M
  JVM-Memory =
  Spark Memory( Storage Memory(用于缓存广播变量等) 50% + Execution Memory(用户缓存Shuffle的中间数据)50%) 60% + User Memory( 用户自己维护数据结构 ) 40% + (预留300M)

• Storage Memory : 用于缓存 广播变量, 内存. persist 侧重存

• Execution Memory : 用于shuffle的中间数据侧重网络分发和计算

参数设置
-- confspark.memory.fraction=0.7
设置Spark Memory内存