1、oozie使用方法
1.1 创建workflow
这一步相当于创建任务流程图。配置并行处理与串行依赖任务。
1.2 创建任务调度器schedule
这一步相当于将workflow流程图拿来执行调度。
2、oozie的调度过程
2.1 创建任务调度容器
2.2 将任务配置文件拉取到容器中来
2.3 按照workflow的调度流程进行执行(这一步相当于在服务器的cmd下进行运行)
3、 如果是通过oozie调度sql任务。
1、在oozie的服务器上创建一个调度容器
2、将代码拉取到容器中
3、在容器中执行
3.1 执行shell脚本,以启动python脚本(便于从shell给python传参)
3.2 python脚本启动,通过keberos认证连接HIVE
3.3 python调取sql脚本,提交到hive上进行执行
4、oozie的优势(相比直接在服务器上,使用crontab进行调度)
1、oozie是分布式的,一台服务器宕机,还可以将任务转移到其它机器上调度
2、oozie可以进行可视化管理
3、oozie可以配置项目依赖流程
网友评论