Spark的Driver本身就是Scheduler，完整的类名叫做CoarseGrainedSchedulerBackend，为什么叫CoarseGrained呢？
答案请看下面的链接：
https://en.wikipedia.org/wiki/Granularity_(parallel_computing)
简单的总结一下：
所谓的CoarseGrained，以及与之对应的FineGrained，涉及到并行计算的粒度（Granularity ）问题。
细粒度的就叫做FineGrained，也就是把一个作业，拆分成单个很小，数量很多的任务；
粗粒度的就叫做CoarseGrained，也就是作业拆分后的任务单个比较大。
Spark拆分成的任务，默认一个task对应的是一个HDFS的Block，这当然是比较大的了。如果是一个任务只处理一行数据，那就是FineGrained了。
Spark的Driver本身就是Scheduler，完整的类名叫做CoarseGrainedSchedulerBa...
假设存在一个quantum gravity theory，在这个理论里我们也可以定义一些我们熟悉的可观测量，比如配...
英语学习：augment：增加trivial：不重要的coarse：粗糙的grained：有木纹的whereas：...
本文将围绕资源管理的粒度和不同资源管理器所支持的粒度进行讨论。 粗粒度（coarse-grained）和细粒度 （...
Coarse-to-Fine Question Answering for Long Documents 用于长文...
var hasTouch = window.matchMedia('(pointer: coarse)').mat...
目录：2016[CVPR]-Embedding Label Structures for Fine-Grained...
《AttnGAN: Fine-Grained Text to Image Generation with Atte...
Deep MANTA: A Coarse-to-fine Many-Task Network for joint ...
Salus: Fine-Grained GPU Sharing Primitives for Deep Learn...
本文标题：Coarse Grained究竟是什么意思？
本文链接：https://www.haomeiwen.com/subject/qwcjnctx.html
网友评论