Ooize任务调度框架浅析

为什么需要任务调度框架

在进行数据处理的时候，需要进行数据采集、数据清洗、数据分析等操作，每一个过程都可能涉及到多个步骤，有的需要顺序执行，有的可以并行执行。如何方便，有效的管理这些任务的执行顺序和依赖关系，这就是任务调度框架的作用。

常见的几种任务调度框架

1. Azkaban
   是有Linkedin开源的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种键值对文件格式来建立任务之间的依赖关系，并提供友好的web界面维护和查看工作流。特点：方便的设置任务流；能够杀死并重新启动工作流；工作流和任务的日志记录。
2. Zeus
   是阿里公司开源的任务调度框架。其特点是：方便Hive任务的调试运行；Hive元数据的可视化查询与数据预览。
3. Linux crontab
   是linux的定时任务工具，也可以用来作为简单的任务调度框架。

4. Ooize
   由Cloudera公司贡献给Apache的，能够提供Hadoop MapReduce和Pig Jobs的任务调度。因为内部的web框架用到了Tomcat，所以需要部署到Java Servlet容器中运行。

   
   2.png
   

   Ooize中定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes)，都是基于XML定义的，其中控制流节点用来定义流程的开始、结束和执行路径，如decision(判断)、fork(分叉)、join(合并)等；动作节点包括mapreduce、shell、hive等。
   ** 三大功能 **

   
   1.png
   workflow：顺序执行流程节点，支持fork，join
   coordinator：定时触发一个workflow
   bundle job：用来绑定多个coordinator或者多个workflow

Oozie的安装部署

1. 下载解压

$ tar zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/

3.png

2. 在core-site.xml配置hadoop的代理用户

    <property>
        <name>hadoop.proxyuser.wulei.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.wulei.groups</name>
        <value>*</value>
    </property>

配置完成后，需要重启hadoop集群

3. 解压oozie目录下的hadooplibs，会生成一个oozie-4.0.0-cdh5.3.6目录，目录下面是hadoop相关的jar包和oozie中web需要的文件

   
   4.png
4. 在oozie目录下面，创建目录libext，并拷贝oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到该目录下

[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ mkdir libext
[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ cp -r oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

5. 拷贝ExtJS到libext目录下，这是一个web前端框架，oozie的web界面需要
   [wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ cp /opt/softwares/ext-2.2.zip libext/
6. 创建sharelib库，会把job运行所需要的依赖上传至hdfs上

[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib create -fs hdfs://bigdata-00:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

5.png

7. 开始前的准备工作

• 打包

$ bin/oozie-setup.sh prepare-war

6.png

• 初始化数据库

  
  7.png

8. 启动oozie
   [wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
   查看jps中是否有一个Bootstrap进程
   8.png
   web界面查看
   9.png
9. 测试example
   解压测试包：$ tar zxvf oozie-examples.tar.gz
   将examples上传至hdfs家目录下
   10.png
   运行mapreduce案例，配置job.properties文件
   11.png
   在oozie中指定hadoop的配置文件目录
   12.png
   重启oozie后，运行

[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://bigdata-00:11000/oozie -config examples/apps/map-reduce/job.properties -run

ozzie的web界面查看

13.png

yarn的web界面观察mapreduce任务执行进度，可以发现运行一个workflow，会生成两个mapreduce任务。launcher任务用来对workflow进行封装，只有map任务；action任务用来执行action节点上的任务。

14.png

总结wrokflow在oozie中的运行流程

1. 提交任务后，oozie中首先从指定的路径中读取job.properties
2. 查找需要运行的workflow的路径(在hdfs上)，将相应的变量传递给workflow
3. 读取workflow.xml文件中的节点定义，然后执行控制流节点和动作节点
4. 在hdfs读取运行任务所依赖的jar包