尚硅谷大数据技术之Oozie

作者: 尚硅谷教育 | 来源:发表于2018-12-18 10:44 被阅读1次

4.4 案例四：Oozie定时任务/循环任务
目标：Coordinator周期性调度任务
分步实现：
1）配置Linux时区以及时间服务器
2）检查系统当前时区：

date -R

注意：如果显示的时区不是+0800，删除localtime文件夹后，再关联一个正确时区的链接过去，命令如下：

rm -rf /etc/localtime

ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间：

ntpdate pool.ntp.org

修改NTP配置文件：

vi /etc/ntp.conf

去掉下面这行前面的# ,并把网段修改成自己的网段：
restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap
注释掉以下几行：

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org

server 2.centos.pool.ntp.org

把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
重启NTP服务：

systemctl start ntpd.service，

注意，如果是centOS7以下的版本，使用命令：service ntpd start

systemctl enable ntpd.service，

注意，如果是centOS7以下的版本，使用命令：chkconfig ntpd on
集群其他节点去同步这台时间服务器时间：
首先需要关闭这两台计算机的ntp服务

systemctl stop ntpd.service，

centOS7以下，则：service ntpd stop

systemctl disable ntpd.service，

centOS7以下，则：chkconfig ntpd off

systemctl status ntpd，查看ntp服务状态

pgrep ntpd，查看ntp服务进程id

同步第一台服务器linux01的时间：

ntpdate linux01

使用root用户制定计划任务,周期性同步时间：

crontab -e

*/10 * * * * /usr/sbin/ntpdate hadoop102
重启定时任务：

systemctl restart crond.service，

centOS7以下使用：service crond restart，
其他台机器的配置同理。
3）配置oozie-site.xml文件
属性：oozie.processing.timezone
属性值：GMT+0800
解释：修改时区为东八区区时
注：该属性去oozie-default.xml中找到即可
4）修改js框架中的关于时间设置的代码
$vi /opt/module/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js 修改如下： function getTimeZone() { Ext.state.Manager.setProvider(new Ext.state.CookieProvider()); return Ext.state.Manager.get("TimezoneId","GMT+0800"); } 5）重启oozie服务，并重启浏览器（一定要注意清除缓存） [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6] $bin/oozied.sh start 6）拷贝官方模板配置定时任务\$ cp -r examples/apps/cron/ oozie-apps/
7）修改模板job.properties和coordinator.xml以及workflow.xml
job.properties
nameNode=hdfs://hadoop102:8020
jobTracker=hadoop103:8032
queueName=default
examplesRoot=oozie-apps

oozie.coord.application.path= ${nameNode}/user/$ {user.name}/${examplesRoot}/cron

start：必须设置为未来时间，否则任务失败

start=2017-07-29T17:00+0800
end=2017-07-30T17:00+0800
workflowAppUri= ${nameNode}/user/$ {user.name}/${examplesRoot}/cron

EXEC3=p3.sh
coordinator.xml
<coordinator-app name="cron-coord" frequency=" ${coord:minutes(5)}" start="$ {start}" end=" ${end}" timezone="GMT+0800" xmlns="uri:oozie:coordinator:0.2"> <action> <workflow> <app-path>$ {workflowAppUri}</app-path>
<configuration>
<property>
<name>jobTracker</name>
<value> ${jobTracker}</value> </property> <property> <name>nameNode</name> <value>$ {nameNode}</value>
</property>
<property>
<name>queueName</name>
<value> ${queueName}</value> </property> </configuration> </workflow> </action> </coordinator-app> workflow.xml <workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf"> <start to="p3-shell-node"/> <action name="p3-shell-node"> <shell xmlns="uri:oozie:shell-action:0.2"> <job-tracker>$ {jobTracker}</job-tracker>
<name-node> ${nameNode}</name-node> <configuration> <property> <name>mapred.job.queue.name</name> <value>$ {queueName}</value>
</property>
</configuration>
<exec> ${EXEC3}</exec> <file>/user/atguigu/oozie-apps/cron/$ {EXEC3}# ${EXEC3}</file> <capture-output/> </shell> <ok to="end"/> <error to="fail"/> </action> <kill name="fail"> <message>Shell action failed, error message[$ {wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<kill name="fail-output">
<message>Incorrect output, expected [Hello Oozie] but was [ ${wf:actionData('shell-node')['my_output']}]</message> </kill> <end name="end"/> </workflow-app> 8）上传配置 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps
9）启动任务
[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/cron/job.properties -run
注意：oozie允许的最小执行任务的频率是5分钟