上一篇我们阐述了Driver，Application，Worker的注册实现原理，本篇我们来接着聊聊Driver，Application在注册之后是如何实现调度的。废话不多说，直接上源码进行分析（本篇所述内容比较重要，请耐心看完）。
Driver调度机制图
我们来分析一下上面这段代码：
1.首先过滤出 所有的worker进行过滤操作，获得所有正常工作的worker，然后将其进行shuffle操作；
2.遍历等待调度的Driver，判断当前的Driver是否可以被启动并且是否有可用的worker；
3.如果满足当前的worker的内存大于等于要启动的driver的内存并且该worker的CPU和核数大于等于要启动driver需要的CPU核数，调用launchDriver在worker上启动Driver；
4.launchDriver方法会向worker发送一个启动Driver的信号，然后将driver的状态置为RUNNING；
spreadOutApps策略启动
非spreadOutApps策略
分析完Driver的scheduler机制后，我们来看看Application适合调度的，Application的调度有两种方式，如上图所示，其实说白了就是一种是平均分配策略和非平均分配策略，现在来分析一下源码是如何实现的；
基于平均分配算法：
1.遍历需要调度的Application，且该Application还需要被分配CPU；
2.遍历拿到所有可用的worker，然后获得每个worker已经分配的CPU核数；
3.获得可以分配的CPU的核数，循环遍历每个worker，并为其分配一个CPU；
4.循环启动每个worker上的executor；
基于非平均分配算法与平均分配算法的区别：
区别在于：基于非平均分配算法，在遍历所有可用的worker，为每个worker尽量分配多的CPU，然后在每个分配了CPU的worker上创建一个Executor并通知worker启动executor。
总结：本节课主要介绍了一下资源调度的实现，虽然内容比较短，但是非常重要，在后期关于spark调优会起到很大的帮助。下篇文章会接着我们本篇的内容，来分析我们的相关应用到底是如何进行启动的；欢迎关注。
如需转载，请注明：
网友评论