Hadoop批处理调度器Azkaban操作

Azkaban应用案例演示

1、Commend类型单一job示例

创建工程

创建成功之后：

点击upload： 注意要是zip的压缩包

command.job内容

#command.job
type=command
command=echo 'hello azkaban'

点击Execute Flow执行

点击Execute执行

点击上图中的Details，查看打印结果：

在自己配置的Projects目录下面可以看到上传的项目：

cd /home/bigdata/apps/azkaban-2.5.0/projects/1.1/
ll

2、Commend类型多job工作流flow

创建工程

上传依赖文件

stepone.job

# stepone.job
type=command
command=echo stepone

steptwo.job

# steptwo.job
type=command
dependencies=stepone
command=echo steptwo

点击执行

点击Execute

执行结果：

可以点击Details看任务结果。

3、操作HDFS任务

创建工程

上传压缩包

hdfs.job

# hdfs.job
type=command
command=hadoop fs -mkdir -p /hello/azkaban

执行成功：

查看结果：

4、操作MapReduce任务

创建工程

上传文件

mapreduce_pi.job

# mapreduce_pi.job
type=command
command=hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 5 1000

mapreduce_wordcount.job

# mapreduce_wordcount.job
type=command
dependencies=mapreduce_pi
command=hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /wordcount.txt /wordcount/output_azkaban

hadoop-mapreduce-examples-2.7.7.jar

执行中：

执行完毕：

可以看到执行中和执行完毕颜色不同

到HDFS中查看运行结果：