yarn-cluster与yarn-client唯一的不同
yarn-client下,driver运行在spark-submit提交的机器上,ApplicationMaster只是相当于一个ExecutorLauncher,仅仅负责申请启动executor;具体负责调度的,还是driver
yarn-cluster下,ApplicationMaster是driver;具体负责调度的,也是ApplicationMaster
yarn-client下,driver所在机器可能跟yarn集群不在一起,所以性能可能比较差
yarn-cluster下,driver(AM)就在yarn集群中,进行复杂调度的时候,网络通信性能较好
yarn-client用于在测试环境中,进行测试,方便你看日志
yarn-cluster推荐作业部署上线运行时使用,性能比较好
网友评论