一.粗粒度资源调度：典型：Spark
在Application执行之前，会将所有的资源(Executor)申请完毕，直接资源申请完毕后，才会进行任务调度，直到最后一个task执行完毕，才会释放掉这部分资源
优点：每一个task执行之前不需要自己去申请资源，直接使用资源就可以，那么每一个task执行时间也就缩短了，stage执行时间也缩短了，job的执行时间也就缩短了Application执行时间也就缩短了。
缺点：一直到最后task执行完毕才会释放资源，集群资源不能充分利用
二.细粒度资源调度：典型：MR
在Application之行之前不需要先将资源申请完毕，而是直接进行任务的资源调度，每一个task在执行之前自己去申请资源，申请到了就执行，申请不到资源就继续申请，每一个task执行完毕后，都会将自己申请的那部分资源释放掉
优点：充分利用集群的资源情况
缺点：task执行时间变长了
一.粗粒度资源调度：典型：Spark 在Application执行之前，会将所有的资源(Executor)申请完毕...
本文将围绕资源管理的粒度和不同资源管理器所支持的粒度进行讨论。 粗粒度（coarse-grained）和细粒度 （...
什么是粗粒度和细粒度权限控制 粗粒度权限管理: 对资源类型的权限管理. 比如:菜单 URL链接 用户添加页面 ...
1.授权：给身份认证通过的人，授予他可以访问某些资源的权限。 2.权限粒度：分为粗粒度和细粒度。 粗粒度：对use...
细粒度资源管理的背景 目的 Flink 目前采用粗粒度的资源管理方法，其中task被部署到预定义的、通常相同的sl...
参考：Yarn 资源调度策略hadoop的三种任务调度的原理 1 Yarn 资源调度策略 1）队列调度：FIFO ...
Hadoop Yarn 资源调度器解析篇 Yarn资源调度器简介 资源调度器是Yarn中最核心的组件之一，他是Re...
Mesos-master 管理各个framework和slave，并将slave上的资源分配给各个framewor...
资源调度和资源隔离是YARN作为一个资源管理系统，最重要和最基础的两个功能。资源调度由ResourceManage...
进程和线程的区别？ 1.调度：进程是资源调度单位，线程是CPU调度单位。 2.资源分配：进程间拥有独立的系统内存单...
本文标题：粗粒度资源调度和细粒度资源调度
本文链接：https://www.haomeiwen.com/subject/gruagxtx.html
网友评论