centos使用contab建立spark定时任务

crontab是在unix/linux系统上定时执行某个任务的程序，crontab与crond是有区别的，crond服务是一个定时执行的服务，可以通过crontab 命令添加或者编辑需要定时执行的任务。

查看crond服务状态：service crond status
启动crond服务：service crond start
停止crond服务：service crond stop
修改了配置，重新载入配置：service crond reload
查看crond服务是否已设置为开机启动，执行命令：ntsysv
加入开机自动启动：chkconfig –level 35 crond on

crontab命令

crontab设置计时器，语法：crontab [-u <用户名称>][配置文件] 或 crontab [-u <用户名称>][-elr]。
cron是一个常驻服务，它提供计时器的功能，让用户在特定的时间得以执行预设的指令或程序。只要用户会编辑计时器的配置文件，就可以使 用计时器的功能。参数说明如下所示：
-e 　编辑该用户的计时器设置。
-l 　列出该用户的计时器设置。
-r 　删除该用户的计时器设置。
-u<用户名称> 　指定要设定计时器的用户名称。

第一步

将需要执行的spark-submit命令做成shell脚本。即创建sh文件，如spark_recomd.sh文件，内容为

#!/bin/sh
echo  "----spark recomd start-----"
source /etc/profile ####要引入环境变量
spark-submit --master spark://master:7077 --driver-memory 8G --executor-memory 6G --num-executors 6   --conf spark.driver.maxResultSize=4g recomend_sim.py 2> /home/zhonglan/error.txt
echo "----spark recomd stop-----"

第二步

编辑crontab

crontab -e

随即进入vim界面，输入

10 15 * * * sh /home/zhonglan/spark_recomd.sh

语义为：每天凌晨15:00执行此条命令
可通过crontab -l命令查看是否编辑成功
tips：需引入环境变量,因crontab的环境变量与系统不一致。

第三步

重启crond服务

service crond restart

参考网址：
定时执行spark-submit命令--Linux中使用crontab命令
Linux的cron和crontab