美文网首页机器学习与深度学习
在oozie上进行任务调度

在oozie上进行任务调度

作者: yimengtianya1 | 来源:发表于2020-10-14 15:38 被阅读0次

1、oozie使用方法

1.1 创建workflow
这一步相当于创建任务流程图。配置并行处理与串行依赖任务。

1.2 创建任务调度器schedule
这一步相当于将workflow流程图拿来执行调度。

2、oozie的调度过程

2.1 创建任务调度容器
2.2 将任务配置文件拉取到容器中来
2.3 按照workflow的调度流程进行执行(这一步相当于在服务器的cmd下进行运行)

3、 如果是通过oozie调度sql任务。

1、在oozie的服务器上创建一个调度容器
2、将代码拉取到容器中
3、在容器中执行
3.1 执行shell脚本,以启动python脚本(便于从shell给python传参)
3.2 python脚本启动,通过keberos认证连接HIVE
3.3 python调取sql脚本,提交到hive上进行执行

4、oozie的优势(相比直接在服务器上,使用crontab进行调度)

1、oozie是分布式的,一台服务器宕机,还可以将任务转移到其它机器上调度
2、oozie可以进行可视化管理
3、oozie可以配置项目依赖流程

相关文章

网友评论

    本文标题:在oozie上进行任务调度

    本文链接:https://www.haomeiwen.com/subject/dgrwpktx.html