美文网首页大数据大数据技术干货
史上最快! 10小时大数据入门实战(四)-分布式资源调度YARN

史上最快! 10小时大数据入门实战(四)-分布式资源调度YARN

作者: 紫霞等了至尊宝五百年 | 来源:发表于2018-06-23 15:29 被阅读7次

    1 YARN 产生背景






    2 YARN 架构



    3 YARN 执行流程



    1.client向yarn提交job,首先找ResourceManager分配资源,
    2.ResourceManager开启一个Container,在Container中运行一个Application manager
    3.Application manager找一台nodemanager启动Application master,计算任务所需的计算
    4.Application master向Application manager(Yarn)申请运行任务所需的资源
    5.Resource scheduler将资源封装发给Application master
    6.Application master将获取到的资源分配给各个nodemanager
    7.各个nodemanager得到任务和资源开始执行map task
    8.map task执行结束后,开始执行reduce task
    9.map task和 reduce task将执行结果反馈给Application master
    10.Application master将任务执行的结果反馈pplication manager。

    4 YARN 环境搭建

    5 提交 PI 的 MapReduce 作业到 TARN 上执行

    相关文章

      网友评论

        本文标题:史上最快! 10小时大数据入门实战(四)-分布式资源调度YARN

        本文链接:https://www.haomeiwen.com/subject/smokyftx.html