美文网首页
在CDH中操作定时任务组件oozie开发调试

在CDH中操作定时任务组件oozie开发调试

作者: 来一杯加多宝不加冰 | 来源:发表于2021-10-17 11:07 被阅读0次

oozie的配置文件介绍

Workflow 可以用来指定程序,和配置的程序运行的流程,一步一步

Coordinator 可以用来配置这个Workflow,这个任务从几点开始,轮询几次。

Job.perporties 是用来配置参数的,指定地址什么的

配置信息

在本地开发好的 jar包和xml文件,然后进行上传将jar包和xml, perporties 都上传到HDFS上面,但是 jar 对应oozie.libpath目录,而其他的对应在oozie.wf.application.path。注意看Job.perporties

注意因任务需要发送邮件,需要修改oozie-site.xml (集群中有几个oozie 就都给配置上,一样。或者在CDH界面中配置)中的配置。

/opt/cloudrea/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678/etc/oozie/conf.dist 路径下

配置如下:

<property>

        <name>oozie.email.smtp.host</name> <!--邮件账户的smtp服务器地址-->

        <value>mail.dfitc.com.cn</value>

    </property>

    <property>

        <name>oozie.email.from.address</name> <!--邮件账户的发送者邮箱地址-->

        <value>123123@dfitc.com.cn</value>

    </property>

    <property>

        <name>oozie.email.smtp.auth</name> <!--是否接受安全认证,根据163邮箱的要求,选择true-->

        <value>true</value>

    </property>

    <property>

        <name>oozie.email.smtp.username</name> <!--邮件账户的用户名-->

        <value>123123</value>

    </property>

    <property>

        <name>oozie.email.smtp.password</name> <!--邮件账户的密码-->

        <value>123456</value>

    </property>

启动oozie

Oozie 启动命令 停止命令,上传hdfs命令 都如图

使用oozie  run命令,最后返回一个jobid

在HDFS上查看文件信息,以及启动成功信息

hdfs上页面显示上传的文件:

oozie上面的运行情况, 看状态 running 表示成功了


大佬勿喷,点滴记录伴我成长~

相关文章

网友评论

      本文标题:在CDH中操作定时任务组件oozie开发调试

      本文链接:https://www.haomeiwen.com/subject/afagoltx.html