美文网首页
Azkaban简单定时任务-使用教程

Azkaban简单定时任务-使用教程

作者: vcancy | 来源:发表于2018-03-07 21:52 被阅读0次

Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

1.登录Azkaban

2.菜单栏

projects:最重要的部分,创建一个工程,所有flows将在工程中运行。

scheduling:显示定时任务

executing:显示当前运行的任务

history:显示历史运行任务

HDFS:Azkaban结合hdfs的插件,显示HDFS服务器上的文件信息

Reportal:定制化定时邮件报表,数据源可以是Hive,pig,Teradata

3.创建工程(任务)

创建之前我们先了解下之间的关系,一个工程包含一个或多个flows,一个flow包含多个job。job是你想在azkaban中运行的一个进程,可以是简单的linux命令,可是java程序,也可以是复杂的shell脚本,当然,如果你安装相关插件,也可以运行插件。一个job可以依赖于另一个job,这种多个job和它们的依赖组成的图表叫做flow。

1)首先创建一个工程,填写名称和描述,比如test-001。

注意:project的name不支持中文

2)新建project后可以通过upload上传zip格式的任务包

3)azkaban可以运行unix命令,也可以运行python脚本

在本地新建一个名为command.job的文件内容如下:

type=command

command=echo “test 001"

将上述job打成zip包,点击upload选择zip包上传。

可使用Run job执行command.job

Flows:工作流程,如果有多个job组成,例子只有一个job

Permissions:权限管理

Project Logs:工程日志

4)使用Schedule指定定时计划任务

5)进入Schduling菜单可查看所有的定时任务列表

相关文章

  • Azkaban简单定时任务-使用教程

    Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工...

  • 2018-07-09

    工作情况: 1、关于Azkaban 设定执行时间的问题,如何设置按奇偶小时执行(拓展:Azkaban的定时任务的详...

  • Azkaban的安装及使用

    LinkedIn开源的任务调度框架,Azkaban的安装及使用 Azkaban的安装https://blog.cs...

  • springboot之定时任务

    spring定时任务 注解开启定时任务 在主类上使用@EnableScheduling注解开启功能 简单的定时任务...

  • 记录解决Azkaban调用kettle报错:Address al

    在使用azkaban的过程中发现有些任务失败是因为端口冲突,本身的kettle任务运行完成了,但在azkaban界...

  • Azkaban任务上传,设置依赖和调度

    摘要:azkaban,任务调度 Azkaban简介 Azkaban是由Linkedin公司推出的一个批量工作流任务...

  • AlarmManager开启一个后台servicee

    一:配合service一起简单使用,开启一个后台定时任务 思路简单说明: 开启一个不重复的定时闹钟任务 任务的功能...

  • springboot 定时任务的使用

    工作种,总会有一些场景是要使用定时任务的,比如每天定时更新什么数据,spring定时任务使用起来相对来说比较简单,...

  • SpringBoot 定时任务

    springBoot中使用两个注解可实现简单的定时任务, 定时逻辑@Scheduled(cron="*/5 *...

  • Quartz高可用定时任务快速上手

    定时任务使用指南 如果你想做定时任务,有高可用方面的需求,或者仅仅想入门快,上手简单,那么选用它准没错。 定时任务...

网友评论

      本文标题:Azkaban简单定时任务-使用教程

      本文链接:https://www.haomeiwen.com/subject/gswsfftx.html