1、你要切换到yarn-cluster或者yarn-client模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数，设置为yarn-cluster，或yarn-client，即可。如果你没设置，那么，就是standalone模式。
2、yarn集群分为主节点和从节点，一个主节点是ResourceManager(RM)，多个从节点是NodeManager（NM）。
3、
3.1、如果是yarn-cluster模式，spark-submit在提交的时候请求到ResourceManager，请求来启动ApplicationMaster，ResourceManager接收到请求后会分配一个container，在某个NodeManager上启动ApplicationMaster，ApplicationMaster(AM)启动后会反过来向ResourceManager进行通讯，其实这个ApplicationMaster就相当于是driver，AM找RM请求container，启动excutor，然后RM会分配一批container，用于启动executor，AM链接其他的NM，来启动executor,这里的NM相当于worker，executor向AM反向注册。ResourceManager相当于之前的master。
3.2、yarn-client模式，spark-submit在提交的时候发送给RM，请求启动AM，分配一个container，在某个NM上，启动AM，但是这里的AM只是一个ExecutorLauncher，功能是很有限的。AM启动后会找RM申请container，启动executor，AM链接其他的NM，用container的资源来启动executor。executor会反向注册到本地的driver上。
4、区别：yarn-cluster的driver相当于就是在NodeManager上的某一个ApplicationMaster；yarn-client的driver还是在本地启动的一个进程，在NodeManager启动的ApplicationMaster只是一个ExecutorLauncher，ExecutorLauncher只会向ResourceManager申请资源，然后用container资源去链接其他的NodeManager，然后去启动executor，executor启动后会反向注册到提交应用程序的本地客户端的driver进程上，通过本地客户端的driver进程里面的DAGScheduler、TaskScheduler会大量进行task的调度，发送到NodeManager上的executor上去执行。
image.png
基于YARN的两种提交模式深度剖析.png
网友评论