美文网首页
Linux下kettle的定时调度

Linux下kettle的定时调度

作者: 夏无忧阳 | 来源:发表于2017-07-25 16:43 被阅读0次

类UNIX系统的调度命令:cron


在类unix系统中,cron是经常使用的调度命令,是系统自带的。
crontab 是cron的调度文件,只要往这个文件里增加一个记录项,就会增加一个调度。crontab文件通常位于/etc/contab。
crontab里的记录项就是一个字符串,这个字符串的前半部分是调度方式,后半部分是要调度的命令行,也就是kettle的kitchen(执行作业)和pan(执行转换)命令,或者是调用kitchen或者pan的shell脚本。

需要了解的一点crontab的基本知识


  1. 账号的使用情况
    /etc/cron.allow
    將可以使用 crontab 的帳號寫入其中,若不在這個檔案內的使用者則不可使用 crontab;
    /etc/cron.deny
    將不可以使用 crontab 的帳號寫入其中,若未記錄到這個檔案當中的使用者,就可以使用 crontab 。
    預設情況下,任何使用者只要不被列入 /etc/cron.deny 當中,那麼他就可以直接下達『 crontab -e 』去編輯自己的例行性命令了!
  2. 基础常识(截取自鸟哥的linux私房菜)

linux下的kettle定时调度


  1. 新建一个shell脚本执行kettle的调度
    vim job.sh
    添加如下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_40
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre
/opt/kettle/data-integration/kitchen.sh  /opt/kettle/wy/job/test.kjb >>/opt/kettle/kettle_`date +%Y%m%d`.log  #使用kitchen执行test这个job,并生成日志文件

可以执行kitchen.sh文件来查看相关参数。根据需要进行更改。如下:


注意:
  在脚本中应指定 SHELL,PATH,HOME 变量, 否则很容易出现脚本,命令找不到的情况。我这里就将执行kettle的环境变量添加到了shell脚本中。
  1. 配置crontab文件
    [kettler@localhost kettle]$ crontab -e
    添加如下内容:
    0 2 * * * /opt/kettle/job.sh #每天晚上两点执行这个shell脚本
    这样就可以实现每晚2点定时执行我们的kettle的job了。

相关文章

  • Linux下kettle的定时调度

    类UNIX系统的调度命令:cron 在类unix系统中,cron是经常使用的调度命令,是系统自带的。crontab...

  • 学习Linux2

    linux 学习2 定时任务管理 crond 任务调度 crontab 进行 定时任务的设置 概述任务调度:是指系...

  • Azkaban安装与初步使用

    1 引言 1.1 目的 通过Azkaban的批量工作量任务调度器调用kettle 调用linux命令 调用jav...

  • Python定时器APScheduler

    简介: APScheduler是python的一个定时任务调度框架,能实现类似linux下crontab类型的任务...

  • APScheduler - Advanced Python Sc

    简介 APScheduler:强大的任务调度工具,可以完成定时任务,周期任务等,它是跨平台的,用于取代Linux下...

  • 如何在linux创建定时器 --- 2019-08-08

    在Linux使用定时器,其实就是任务调度的使用,依赖crontab,使用这种任务调度的定时器最重要的是要使用正确的...

  • scrapy 定时执行的两种方法

    window下是 dir 命令, linux是 ls 提到定时任务调度的时候,相信很多人会想到芹菜celery,要...

  • Linux定时调度

    定时调度:设置某个时间点或时间段执行某些任务。例如凌晨备份数据库。 crontab 【常用选项】 -e:编辑-l:...

  • 如何在linux部署kettle并实现定时调度任务

    最近工作中需要在linux部署kettle做数据抽取转换的工作,在此做个记录(略过安装jdk部分) 一:部署ket...

  • gocron - 定时任务web管理系统

    gocron - 定时任务管理系统 项目简介 使用Go语言开发的定时任务集中调度和管理系统, 用于替代Linux-...

网友评论

      本文标题:Linux下kettle的定时调度

      本文链接:https://www.haomeiwen.com/subject/uvnwkxtx.html