美文网首页
130、Spark核心编程进阶之yarn-cluster模式原理

130、Spark核心编程进阶之yarn-cluster模式原理

作者: ZFH__ZJ | 来源:发表于2019-01-18 09:24 被阅读0次
    yarn-cluster模式原理.png

    yarn-cluster与yarn-client唯一的不同
    yarn-client下,driver运行在spark-submit提交的机器上,ApplicationMaster只是相当于一个ExecutorLauncher,仅仅负责申请启动executor;具体负责调度的,还是driver
    yarn-cluster下,ApplicationMaster是driver;具体负责调度的,也是ApplicationMaster

    yarn-client下,driver所在机器可能跟yarn集群不在一起,所以性能可能比较差
    yarn-cluster下,driver(AM)就在yarn集群中,进行复杂调度的时候,网络通信性能较好

    yarn-client用于在测试环境中,进行测试,方便你看日志
    yarn-cluster推荐作业部署上线运行时使用,性能比较好

    相关文章

      网友评论

          本文标题:130、Spark核心编程进阶之yarn-cluster模式原理

          本文链接:https://www.haomeiwen.com/subject/wsipdqtx.html