1 引言
1.1 目的
-
通过Azkaban的批量工作量任务调度器调用kettle
-
调用linux命令
-
调用java程序
-
调用shell脚本
1.2 背景
Azkaban是一个分布式工作流管理器，由LinkedIn实现。类似于JavaEE中的JBPM和Activiti工作流框架.。常见的任务调度框架有Apache Oozie、LinkedIn Azkaban、Apache Airflow、Alibaba Zeus,由于Azkaban具有轻量可插拔、友好的WebUI、SLA告警、完善的权限控制、易于二次开发等优点，也得到了广泛应用。
1.3 术语
表格 1 3：术语表
术语 | 说明
-------- | -----
FLOW | 工作流程
JOB | 作业
1.4 参考资料
Azkaban官网网站：https://azkaban.github.io/
1.5 读者对象
开发人员、运维人员、大数据工程师
2 运行环境
2.1 软件方面
这里我以我自己本地的环境作为例子，仅供参考
| 序号 | 软件名称 | 版本 |
| -----| ---- | ---- |
| 1 | VMware Workstation 15 Pro | 15.0.0 |
| 2 | Azkaban | 3.9.1.0 |
| 3 | Gradle| 6.6.1 |
| 4 | JDK| 1.8.0_261|
| 5 | Git| 2.17.1|
3 系统环境安装
Ubuntu 18.04.5 LTS
4 软件安装和配置
4.1 下载代码，构建资源
- 克隆仓库
git clone https://github.com/azkaban/azkaban.git
- 构建项目
sudo ./gradlew build -x test
- 清理项目
sudo ./gradlew clean
4.2 启动和停止服务
进入Azkaban根目录后
cd /azkaban/azkaban-solo-server/build/install/azkaban-solo-server/
执行 sudo ./bin/start-solo.sh 启动solo-server服务
执行 sudo./bin/shutdown-solo.sh，停止solo-server服务
4.3 通过web打开Azkaban可视化界面
在浏览器中输入http://localhost:8081/，由于我将Azkaban安装在了虚拟机上，所以此处我使用的是http://192.168.255.131:8081/，默认的账号名为azkaban，密码为azkaban。
登录页
在这里插入图片描述
4.4 功能验证
1． 创建一个名为flow20.project的文件。添加Azkaban版本，表明这是一个Azkaban 2.0项目
azkaban-flow-version: 2.0
2． 创建另一个名为basic.flow的文件。添加名为nodes的部分，其中将包含您想要运行的所有作业。
nodes:
-
name: jobC
type: noop
# jobC depends on jobA and jobB
dependsOn:
-
jobA
-
jobB
-
-
name: jobA
type: command
config:
command: echo "This is an echoed text."
-
name: jobB
type: command
config:
command: pwd
3． 将两个文件压缩为zip文件，直接压缩即可，不需要在外层创建文件夹，并命名为Archive.zip
4． 在project菜单下创建一个project，输入Name和Description，如official_demo和官方样例
5． 创建完毕后，点击upload菜单，将第三步压缩的Archive.zip进行上传
在这里插入图片描述
6． 点击Execute Flow，会弹出调度视图，再次点击Execute即运行成功
在这里插入图片描述
7． 查看调度日志
在这里插入图片描述
5 常见问题处理
5.1 构建时报错
Task :azkaban-exec-server:compileTestJava FAILED
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:24: 错误: 程序包javafx.util不存在
import javafx.util.Pair;
^
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:31: 错误: 找不到符号
private final List<Pair<String, Status>> sequence = new ArrayList<>();
^
符号: 类 Pair
位置: 类 StatusChangeRecorder
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/StatusChangeRecorder.java:41: 错误: 找不到符号
void verifySequence(final List<Pair<String, Status>> expectedSequence) {
^
符号: 类 Pair
位置: 类 StatusChangeRecorder
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/DagServiceTest.java:32: 错误: 程序包javafx.util不存在
import javafx.util.Pair;
^
/home/caijx/download/azkaban/azkaban-exec-server/src/test/java/azkaban/dag/DagServiceTest.java:56: 错误: 找不到符号
private final List<Pair<String, Status>> expectedSequence = new ArrayList<>();
^
解决办法：构建时使用sudo ./gradlew build -x test，最根本的原因为我所使用的环境安装的为OpenJDK，只包含最精简的JDK，故我又重新安装了JDK 1.8.0_261。安装完毕后使用sudo ./gradlew build依旧构建不通过。百思不得其解， 但不执行测试代码可以通过。有兴趣的小伙伴可以自行研究下。
网友评论