美文网首页
Hadoop和Yarn中的任务调度算法和任务队列

Hadoop和Yarn中的任务调度算法和任务队列

作者: 小小少年Boy | 来源:发表于2018-08-02 15:18 被阅读0次

参考:
Yarn 资源调度策略
hadoop的三种任务调度的原理

1 Yarn 资源调度策略

1)队列调度:FIFO Scheduler

FIFO Scheduler把应用按提交的顺序排成一个队列,这是一个先进先出队列,在进行资源分配的时候,先给队列中最头上的应用进行分配资源,待最头上的应用需求满足后再给下一个分配,以此类推。

缺点:FIFO Scheduler它并不适用于共享集群。大的应用可能会占用所有集群资源,这就导致其它应用被阻塞。

2)容量调度:Capacity Scheduler

Capacity调度器,有一个专门的队列用来运行小任务,但是为小任务专门设置一个队列会预先占用一定的集群资源,这就导致大任务的执行时间会落后于使用FIFO调度器时的时间。

Capacity 调度器允许多个组织共享整个集群,每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列,然后再为每个队列分配一定的集群资源,这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外,队列内部又可以垂直划分,这样一个组织内部的多个成员就可以共享这个队列资源了,在一个队列内部,资源的调度是采用的是先进先出(FIFO)策略。

当队列已满,Capacity调度器不会强制释放Container,当一个队列资源不够用时,这个队列只能获得其它队列释放后的Container资源,这个称为“弹性队列”,也可以设置最大值,防止过多占用其他队列的资源。 (超用资源)

3)公平调度:Fair Scheduler

Fair调度器中,我们不需要预先占用一定的系统资源,Fair调度器会为所有运行的job动态的调整系统资源。

最终的效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。

相关文章

  • Hadoop和Yarn中的任务调度算法和任务队列

    参考:Yarn 资源调度策略hadoop的三种任务调度的原理 1 Yarn 资源调度策略 1)队列调度:FIFO ...

  • MR on Yarn / Spark on Yarn/

    Hadoop Yarn的好处 资源管理和任务调度统一 公司资源统一分配 任务多种模式调度 MR ON YARN 流...

  • Hadoop-3.1.3(七)YARN

    YARN概述 hadoop 1.x中,一个Job任务使由 JobTracker 来分配资源和管理任务调度,虽说最终...

  • Hadoop Yarn调度器的选择和使用

    Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。...

  • Yarn 队列调度策略

    Yarn的队列调度策略主要分三种:FIFO、Capacity调度、Fair调度。 FIFO调度策略:为先进去的任务...

  • 最大堆应用: 堆排序 --- Java版

    堆定义 生活中需要使用优先队列, 比如cpu调度算法,线程调度算法都需要把优先级高的任务装入一个优先队列Prior...

  • Mesos vs Yarn

    Apache Hadoop Yarn简介 Yarn的基本理念是将资源管理与任务调度分离到不同的守护进程中去。基于这...

  • iOS -- GCD基础理解 ( 24)

    线程, 任务,和队列的概念 ------------------- 线程: 程序执行任务的最小调度单位. 任务: ...

  • spark是什么

    hadoop有文件系统HDFS,还有用来调度任务的YARN。而SPARK可以在YARN上开一个APPLICATIO...

  • Hadoop Yarn调度器的选择和使用

    一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yar...

网友评论

      本文标题:Hadoop和Yarn中的任务调度算法和任务队列

      本文链接:https://www.haomeiwen.com/subject/tjxsvftx.html