为什么需要任务调度框架
在进行数据处理的时候，需要进行数据采集、数据清洗、数据分析等操作，每一个过程都可能涉及到多个步骤，有的需要顺序执行，有的可以并行执行。如何方便，有效的管理这些任务的执行顺序和依赖关系，这就是任务调度框架的作用。
常见的几种任务调度框架
- Azkaban
是有Linkedin开源的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种键值对文件格式来建立任务之间的依赖关系，并提供友好的web界面维护和查看工作流。特点：方便的设置任务流；能够杀死并重新启动工作流；工作流和任务的日志记录。 - Zeus
是阿里公司开源的任务调度框架。其特点是：方便Hive任务的调试运行；Hive元数据的可视化查询与数据预览。 - Linux crontab
是linux的定时任务工具，也可以用来作为简单的任务调度框架。 -
Ooize
由Cloudera公司贡献给Apache的，能够提供Hadoop MapReduce和Pig Jobs的任务调度。因为内部的web框架用到了Tomcat，所以需要部署到Java Servlet容器中运行。
2.png
Ooize中定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes)，都是基于XML定义的，其中控制流节点用来定义流程的开始、结束和执行路径，如decision(判断)、fork(分叉)、join(合并)等；动作节点包括mapreduce、shell、hive等。
** 三大功能 **
1.png
workflow：顺序执行流程节点，支持fork，join
coordinator：定时触发一个workflow
bundle job：用来绑定多个coordinator或者多个workflow
Oozie的安装部署
- 下载解压
$ tar zxvf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/
3.png
- 在core-site.xml配置hadoop的代理用户
<property>
<name>hadoop.proxyuser.wulei.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.wulei.groups</name>
<value>*</value>
</property>
配置完成后，需要重启hadoop集群
-
解压oozie目录下的hadooplibs，会生成一个oozie-4.0.0-cdh5.3.6目录，目录下面是hadoop相关的jar包和oozie中web需要的文件
4.png
- 在oozie目录下面，创建目录libext，并拷贝oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到该目录下
[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ mkdir libext
[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ cp -r oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/
- 拷贝ExtJS到libext目录下，这是一个web前端框架，oozie的web界面需要
[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ cp /opt/softwares/ext-2.2.zip libext/ - 创建sharelib库，会把job运行所需要的依赖上传至hdfs上
[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib create -fs hdfs://bigdata-00:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
5.png
- 开始前的准备工作
- 打包
$ bin/oozie-setup.sh prepare-war
6.png
-
初始化数据库
7.png
- 启动oozie
[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
查看jps中是否有一个Bootstrap进程
8.png
web界面查看
9.png
- 测试example
解压测试包：$ tar zxvf oozie-examples.tar.gz
将examples上传至hdfs家目录下
10.png
运行mapreduce案例，配置job.properties文件
11.png
在oozie中指定hadoop的配置文件目录
12.png
重启oozie后，运行
[wulei@bigdata-00 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://bigdata-00:11000/oozie -config examples/apps/map-reduce/job.properties -run
ozzie的web界面查看
13.png
yarn的web界面观察mapreduce任务执行进度，可以发现运行一个workflow，会生成两个mapreduce任务。launcher任务用来对workflow进行封装，只有map任务；action任务用来执行action节点上的任务。
14.png
总结wrokflow在oozie中的运行流程
- 提交任务后，oozie中首先从指定的路径中读取job.properties
- 查找需要运行的workflow的路径(在hdfs上)，将相应的变量传递给workflow
- 读取workflow.xml文件中的节点定义，然后执行控制流节点和动作节点
- 在hdfs读取运行任务所依赖的jar包
网友评论