Oozie

为什么要有Oozie？

在数据业务场景，对于数据的处理往往是分阶段处理，而不同的阶段可能采用了不同的技术框架去完成这个业务需求，且可能在不同的阶段要干不同的事。

炒饭(锅) à 吃饭(碗) à 筷子(动手)

要吃饭就要等炒饭先用锅炒好，要用筷子动手吃饭就要等碗里装了饭，这是一个流水线式的过程，如果用设定时间的方式，到了什么时候就拿完去装饭，但如果今天兼职的人特别多，那么炒的饭必然就多了，时间也长了，但是设定时间到了，还没炒好，可是有一堆人挤在厨房喊要饭，问题就出现了。

于是有的人会想，如果有一个监督人帮我去这个监控、通知、控制好整个流程，那样多好啊，厨房就不会给天天催了，也不会发生拥挤的情况。

      小结：一个完整的数据分析系统通常是由大量的任务单元组成，Shell脚本、Java程序、MapReduce程序、Hive脚本等等，各个任务单元之间存在时间先后及前后依赖关系。

      为了很好的组织这样的复杂执行计划，需要一个工作流调度系统来调用执行。

      简单的工作流调度：Liunx的crontab来定义

      复杂的工作流调度：Oozie、Azakaban等。。。

主流几款工作流调度框架

特性HamakeOozieAzkabanCascading

工作流描述语言XMLXML (xPDL based)text file with key/value  pairsJava API

依赖机制data-drivenexplicitexplicitexplicit

是否要web容器NoYesYesNo

进度跟踪console/log messagesweb pageweb pageJava API

Hadoop job调度支持noyesyesyes

运行模式command line utilitydaemondaemonAPI

Pig支持yesyesyesyes

事件通知nononoyes

需要安装noyesyesno

支持的hadoop版本0.18+0.20+currently unknown0.18+

重试支持noworkflownode  evelyesyes

运行任意命令yesyesyesyes

Amazon EMR支持yesnocurrently unknownyes

什么是Oozie？

      Oozie(驯象人)是一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache的，用在一个工作流内以一个特定顺序运行一组工作或流程。

      Oozie在集群中扮演的是定时调度任务，多任务，并开源按照业务逻辑顺序调度。

组成

Workflow：顺序执行流程节点，执行分支多节点或合并多分点为一个分支。

Coordinator：定时触发Workflow

BundleJob：绑定多个Coordinator

Oozie节点

      控制流节点(Control Flow Nodes)：一般都是定义在工作流开始或结束，比如start、end、kill等，以及提供工作流的执行路径。

      动作节点(Action Nodes)：执行具体动作的节点。

案例

job.properties

#NameNode地址

nameNode=hdfs://hadoop-senior00-levi.com:8082

#ResourceManager地址，默认端口8032

jobTracker=hadoop-senior00-levi.com:8032

#内部的Event队列名称

queueName=default

examplesRoot=oozie-apps

#程序位置

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell

#执行这个脚本

EXEC1=test1.sh

EXEC2=test2.sh

workflow.xml

   

   

               

                       ${jobTracker}

                       ${nameNode}

                       

                               

                                       mapred.job.queue.name

                                       ${queueName}

                        ${EXEC1}

                       /user/admin/oozie-apps/shell/${EXEC1}#${EXEC1}

                       

               

               

             

               

                       ${jobTracker}

                       ${nameNode}

                       

                               

                                       mapred.job.queue.name

                                       ${queueName}

                        ${EXEC2}

                       /user/admin/oozie-apps/shell/${EXEC2}#${EXEC2}

                       

               

               

   

       

           

               ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}

           

   

       Shell action failed, errormessage[${wf:errorMessage(wf:lastErrorNode())}]

   

       Incorrect output, expected [Hello Oozie] but was[${wf:actionData('shell-node')['my_output']}]

   

test1.sh

#!/bin/bash

/usr/bin/date > /tmp/test.log

/usr/bin/date > /tmp/test.log

执行：

上传到HDFS：

hdfs dfs -rmr /user/levi/oozie-apps

hdfs dfs -put oozie-apps/ /user/levi

执行任务：

bin/oozie job --ooziehttp://hadoop-senior00-levi.com:11000/oozie -config oozie-apps/shell/job.properties-run

使用注意事项

[if !supportLists]1.    [endif]启动不了，则到oozie-server/temp查看是否有*.pid文件，有就删除后在启动。

[if !supportLists]2.    [endif]如果无法关闭oozie则kill掉。

[if !supportLists]3.    [endif]Mysql配置如果没有生效的话，默认使用derby数据库

[if !supportLists]4.    [endif]在本地修改完成的job配置，必须重新上传到HDFS。

[if !supportLists]5.    [endif]Linux用户名和Hadoop的用户名不一致。

[if !supportLists]6.    [endif]时区