美文网首页
2018-12-03 jobClient作业提交类

2018-12-03 jobClient作业提交类

作者: 北子萌 | 来源:发表于2018-12-03 11:28 被阅读0次

作为从ClusterClient内提交的作业图,首先会提交到jobClient端进行作业的解析。经过jobClient解析、提交并且优化后的作业提交给jobManager去执行。涉及到jobClient中的方法有以下几个:

retrieveBlobServerAddress:负责抓取jobManager入口的地址和端口,给作业传输提供一条通路。返回类型为CompletableFuture类的对象。

获取jobManager地址及端口的函数体

jobClient端还有一个上下文监听器,作为启动作业客户端之后对于作业执行结果的捕获。类名为submitJob。返回类型是一个jobListeningContext。首先会启动一个作业客户端的Actor作为通信者,这是由于Actor的原理就类似一个信箱。互相之间传递消息,其中的几个形参囊括了作业图还有一些配置信息。Future模式的结构可以理解为:使用Future模式,获取数据的时候无法立即得到需要的数据。而是先拿到一个契约,你可以再将来需要的时候再用这个契约去获取需要的数据,这个契约就好比叫外卖的例子里的外卖订单。

Props jobClientActorProps = JobSubmissionClientActor.createActorProps(

highAvailabilityServices.getJobManagerLeaderRetriever(HighAvailabilityServices.DEFAULT_JOB_ID),

  timeout,

  sysoutLogUpdates,

  config);

ActorRef jobClientActor = actorSystem.actorOf(jobClientActorProps);

Future submissionFuture = Patterns.ask(

jobClientActor,

      new JobClientMessages.SubmitJobAndWait(jobGraph),

      new Timeout(AkkaUtils.INF_TIMEOUT()));

创建的 jobClientActorProps就是一个作业客户端的Actor,负责通信,后面的ask方法体主要是为了夹带作业与作业管理器进行通信,成功与否可以用Future设计模式来负责获取,如同之前的 外卖的例子一样。

接着是可以使用jobID连接到正在运行的作业,并且可以通过jar下载ClassLoader所需的jar文件的方法:

通过jobID鉴别操作的是哪个作业

以上两种方法都含有jobListeningContext,负责监听上下文是否执行成功。

之后就是一个获取ClassLoader的方法:

retrieveClassLoader,首先在JobManager请求关于类加载器的信息,从而重构类加载器 *然后下载丢失的JAR文件

相关文章

  • 2018-12-03 jobClient作业提交类

    作为从ClusterClient内提交的作业图,首先会提交到jobClient端进行作业的解析。经过jobClie...

  • Map

    Job类初始化JobClient实例,JobClient中生成JobTracker的RPC实例,这样可以保持与Jo...

  • Hadoop第三天

    2.MR执行流程(1).客户端提交一个mr的jar包给JobClient(提交方式:hadoop jar ...)...

  • 看到战友们提交作业的时候

    看到战友们提交作业的时候看到战友们提交作业的时候看到战友们提交作业的时候看到战友们提交作业的时候看到战友们提交作业...

  • 2018-11-12 JobManager 的启动过程

    首先会进入prestart方法体,对提交的作业图jobgraph进行存储,调用接口类SubmittedJobGra...

  • Druid适用场景分析

    2018-12-03

  • 黑猴子的家:MapReduce作业提交全过程

    1、作业提交过程之YARN 2、作业提交过程之MapReduce 3、作业提交过程之读数据 4、作业提交过程之写数据

  • 课后作业:第一章,动手画

    作业提交链接:第一次作业提交通道 请在简书app中完成你的作业制作并提交 用简书提交可获得助教的专业点评哦! 作业...

  • 作业提交

    非常感谢永澄老师和幸福进化俱乐部的小伙伴们,在你们的共同努力下,这次的活动才会获得这样的成绩,让更多的小伙伴感受俱...

  • 提交作业

    1.APP的模式 2.该APP的功能结构图,核心功能介绍 3.核心界面保真原型图 4.阐述我的APP相比较其他AP...

网友评论

      本文标题:2018-12-03 jobClient作业提交类

      本文链接:https://www.haomeiwen.com/subject/whbecqtx.html