一、介绍
Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架.
如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(T)，在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban这样的调度框架，一般用crontab+shell,但crontab+shell虽然简单易用，但也有明显的缺点，如任务的依赖处理、任务监控、任务流的可视化等，就需要一个调度框架来统一。
常见的任务调度框架有Apache Oozie、LinkedIn Azkaban、Apache Airflow、Alibaba Zeus,由于Azkaban具有轻量可插拔、友好的WebUI、SLA告警、完善的权限控制、易于二次开发等优点，也得到了广泛应用。
本文以Azkaban为例，总结Azkaban基本原理，以及三种模式的部署和测试使用。
二、架构
三、Azkaban三个关键组件的作用
Relational Database：存储元数据，如项目名称、项目描述、项目权限、任务状态、SLA规则等。
AzkabanWebServer：项目管理、权限授权、任务调度、监控executor。
AzkabanExecutorServer：作业流执行的Server。
四、Azkaban三种部署模式
- solo-server模式
DB使用的是一个内嵌的H2，Web Server和Executor Server运行在同一个进程里。这种模式包含Azkaban的所有特性，但一般用来学习和测试。
- two-server模式
DB使用的是MySQL，MySQL支持master-slave架构，Web Server和Executor Server运行在不同的进程中。
- 分布式multiple-executor模式
DB使用的是MySQL，MySQL支持master-slave架构，Web Server和Executor Server运行在不同机器上，且有多个Executor Server。
五、Azkaban三种模式安装前准备
Azkaban3.x在安装前需要自己编译成二进制包。
- 编译环境
[root@hadoop000 ~]# yum install -y git
[root@hadoop000 ~]# yum install -y gcc-c++
- 下载源码&解压
[hadoop@hadoop000 source]$ wget https://github.com/azkaban/azkaban/archive/3.77.0.tar.gz
[hadoop@hadoop000 source]$ mv 3.77.0.tar.gz azkaban-3.77.0.tar.gz
[hadoop@hadoop000 source]$ tar -zxvf azkaban-3.77.0.tar.gz
- 编译
#加速编译
[hadoop@hadoop000 wrapper]$ wget https://services.gradle.org/distributions/gradle-4.6-all.zip
[hadoop@hadoop000 wrapper]$ vi gradle-wrapper.properties
#distributionUrl=https\://services.gradle.org/distributions/gradle-4.6-all.zip
distributionUrl=gradle-4.6-all.zip
[hadoop@hadoop000 azkaban-3.77.0]$ ./gradlew build installDist -x test #Gradle是一个基于Apache Ant和Apache Maven的项目自动化构建工具。-x test 跳过测试
- 编译后生成的安装包路径
#solo-server模式安装包路径
[hadoop@hadoop000 azkaban-3.77.0]$ ll azkaban-solo-server/build/distributions/
total 46896
-rw-rw-r-- 1 hadoop hadoop 23943674 Sep 19 11:02 azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
-rw-rw-r-- 1 hadoop hadoop 24074564 Sep 19 11:02 azkaban-solo-server-0.1.0-SNAPSHOT.zip
#two-server模式和multiple-executor模式web-server安装包路径
[hadoop@hadoop000 azkaban-3.77.0]$ ll azkaban-web-server/build/distributions/
total 39320
-rw-rw-r-- 1 hadoop hadoop 20069956 Sep 19 10:52 azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
-rw-rw-r-- 1 hadoop hadoop 20191090 Sep 19 10:52 azkaban-web-server-0.1.0-SNAPSHOT.zip
#two-server模式和multiple-executor模式exec-server安装包路径
[hadoop@hadoop000 azkaban-3.77.0]$ ll azkaban-exec-server/build/distributions/
total 30924
-rw-rw-r-- 1 hadoop hadoop 15829566 Sep 19 11:01 azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
-rw-rw-r-- 1 hadoop hadoop 15834766 Sep 19 11:01 azkaban-exec-server-0.1.0-SNAPSHOT.zip
六、solo-server模式部署
- 节点规划
| Host | 角色 |
|---|---|
| node1 | Web Server和Executor Server同一进程 |
TODO....
七、two-server模式
- 节点规划
| Host | 角色 |
|---|---|
| node1 | web‐server和exec‐server不同进程 |
| node2 | mysql |
- 解压web‐server和exec‐server
[hadoop@hadoop000 distributions]$ tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C /home/hadoop/app/
[hadoop@hadoop000 distributions]$ tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C /home/hadoop/app/
- 将Azkaban源码中的create-all-sql脚本拷贝到Mysql所在机器
这里由于只有一台机器所以就用不同用户演示
# /usr/local/mysql/ 是我mysqladmin的home目录
[root@hadoop000 azkaban-db]$ cp /home/hadoop/source/azkaban-3.77.0/azkaban-db/build/install/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql /usr/local/mysql/
#修改下文件所属用户用户组
[root@hadoop000 mysql]# chown mysqladmin:dba create-all-sql-0.1.0-SNAPSHOT.sql
- Mysql上创建对应的库、增加权限、创建表
mysql> create database azkaban;# 创建数据库
mysql> use azkaban;
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';#创建用户
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;#给用户授权
mysql> source create-all-sql-0.1.0-SNAPSHOT.sql;##执行创建脚本
- 设置web‐server
[hadoop@hadoop000 conf]$ vi azkaban.properties
default.timezone.id=Asia/Shanghai
database.type=mysql
mysql.port=3306
mysql.host=hadoop000
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
添加azkaban.native.lib=false 和 execute.as.user=false属性
[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ mkdir -p plugins/jobtypes
[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ cd plugins/jobtypes/
[hadoop@hadoop000 jobtypes]$ vi commonprivate.properties
azkaban.native.lib=false
# 设置为true，才可以使用系统用户提交任务
execute.as.user=false
- 设置executor‐server
[hadoop@hadoop000 conf]$ vi azkaban.properties
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://hadoop000:8081
mysql.port=3306
mysql.host=hadoop000
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
- 启动executor‐server,web-serrver
[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ bin/start-web.sh
[hadoop@hadoop000 azkaban-exec-server-0.1.0-SNAPSHOT]$ bin/start-exec.sh
[hadoop@hadoop000 azkaban-web-server-0.1.0-SNAPSHOT]$ jps
3057 NameNode
3157 DataNode
7256 Jps
7240 AzkabanWebServer
3357 SecondaryNameNode
7183 AzkabanExecutorServer
添加azkaban.native.lib=false 和 execute.as.user=false属性
[hadoop@hadoop000 azkaban-exec-server-0.1.0-SNAPSHOT]$ mkdir -p plugins/jobtypes
[hadoop@hadoop000 azkaban-exec-server-0.1.0-SNAPSHOT]$ cd plugins/jobtypes/
[hadoop@hadoop000 jobtypes]$ vi commonprivate.properties
azkaban.native.lib=false
# 设置为true，才可以使用系统用户提交任务
execute.as.user=false
- 测试带有依赖的任务
A、创建一个文件夹
B、创建一个文件叫flow20.project内容为azkaban-flow-version: 2.0
C、创建一个文件叫basic.flow
c、如果需要接受参数，则
config:
param.date: ${1}
后面就直接用${param.date}就行了
nodes:
- name: jobC
type: command
config:
command: echo "JobC"
# jobC depends on jobA and jobB
dependsOn:
- jobA
- jobB
- name: jobA
type: command
config:
command: echo "JobA"
- name: jobB
type: command
config:
command: echo "JobB"
D、打成zip包
E、创建project、上传
zip包
- 首次运行是可能的报错
ERROR [ExecutorServlet] [Azkaban] executor became inactive before setting up the flow 1
azkaban.executor.ExecutorManagerException: executor became inactive before setting up the flow 1
需要手动去激活一下 executor，方式如下：
curl http://${executorHost}:${executorPort}/executor?action=activate
[hadoop@hadoop000 conf]$ curl http://hadoop000:37516/executor?action=activate
{"status":"success"}
八、分布式multiple-executor模式
- 节点规划
| Host | 角色 |
|---|---|
| node1 | web‐server和exec‐server不同进程 |
| node2 | mysql |
| node3 | exec-server |
TODO......
九、Azkaban jobTypes 插件安装和各种类型的Job编写
TODO......
网友评论