美文网首页
黑猴子的家:Azkaban2.5.0之多Job工作流案例一

黑猴子的家:Azkaban2.5.0之多Job工作流案例一

作者: 黑猴子的家 | 来源:发表于2021-05-31 14:09 被阅读0次

1、多Job思想

第一个Job执行完成后,第二个Job和第三个Job才能执行,当第二个Job和第三个Job全部都执行完毕后,第四个Job才能执行

2、创建多个Job

1)第一个job
start.job 创建文件

[alex@hadoop102 jobs]$ vim start.job
#start.job
type=command
command=touch /opt/module/start.txt

2)第二个job
step1.job依赖start.job 打印一句话

[alex@hadoop102 jobs]$ vim step1.job
#step1.job
type=command
dependencies=start
command=echo "this is step1 job"

3)第三个job
step2.job依赖start.job 打印一句话

[alex@hadoop102 jobs]$ vim step2.job
#step2.job
type=command
dependencies=start
command=echo "this is step2 job"

4)第四个job
finish.job依赖step1.job和step2.job 打印一句话

[alex@hadoop102 jobs]$ vim finish.job
#finish.job
type=command
dependencies=step1,step2
command=echo "this is finish job"

3、将所有job资源文件打到一个zip包中

[alex@hadoop102 jobs]$ zip jobm.zip start.job step1.job step2.job finish.job
updating: start.job (deflated 16%)
  adding: step1.job (deflated 12%)
  adding: step2.job (deflated 12%)
  adding: finish.job (deflated 14%) 

4、Azkaban 执行

步骤和单Job案例 一样
在azkaban的web管理界面创建工程并上传zip包, 启动job


5、查看结果

相关文章

网友评论

      本文标题:黑猴子的家:Azkaban2.5.0之多Job工作流案例一

      本文链接:https://www.haomeiwen.com/subject/ykvksltx.html