美文网首页
Azkaban实战-Mapreduce任务

Azkaban实战-Mapreduce任务

作者: Movle | 来源:发表于2020-05-10 00:21 被阅读0次

mapreduce任务依然可以使用azkaban进行调度

1.创建job描述文件,及mr程序jar包
vi mapreduce.job

添加内容:

#mapreduce job
type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /wordcount/input /wordcount/output
2.将所有job资源文件打到一个zip包中
zip mapreduce.zip mapreduce.job 

adding: mapreduce.job (deflated 43%)

3.在azkaban的web管理界面创建工程并上传zip包

4.启动job

5.查看结果

相关文章

网友评论

      本文标题:Azkaban实战-Mapreduce任务

      本文链接:https://www.haomeiwen.com/subject/yndrnhtx.html