azkaban3.x学习分享

azkaban是什么

github地址：https://github.com/azkaban/azkaban
官网地址：https://azkaban.readthedocs.io/en/latest/index.html#
azkaban作为一款工作流程（WORKFLOW）管理工具，能够自动化调度任务、执行任务，监听任务的执行状态，收集任务执行的日志，并提供可视化的管理界面。

azkaban功能

• 权限控制
• 工作流程编排
• 任务调度，手动执行和定时执行
• 历史任务追踪
• 任务执行结果邮件通知

azkaban的优势

• 开箱即用，配置简单，任务编排方便
• 完善的开发文档，活跃社区
• 功能完善，可支持多种job类型和插件
• 可视化的监控管理页面，实时的任务日志跟踪

azkaban怎么用

azkaban工作模式

azkaban服务分为两块，web服务（azkaban-web-server）和任务执行服务（azkaban-executor-server）

• solo模式
  该模式下azkaban-web-server和azkaban-executor-server在同一个工程下，单执行器模式工作，数据库使用内置的H2数据库，适用于规模小的任务。
• multi-exec-server 模式
  拆分azkaban-web-server和azkaban-executor-server，后端可以扩展多台azkaban-executor-server，数据库目前支持MYSQL做支撑，扩展节点时，需要重新azkaban-web-server。

azkaban配置

• 权限控制：根据登录用户的角色权限分配资源，有效管理不同业务系统下的flow。
  通过配置文件管理用户，配置文件地址：${azkaban_home}/conf/azkaban-users.xml，可不停机新增用户、更新用户，如果需要增加角色或者权限

<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>

  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

用户配置：

属性	值	是否必须
username	用户名	是
password	密码	是
roles	角色	否
groups	组	否

组（group）配置:

属性	值	是否必须
name	组名	是
roles	配置的角色	否

角色（role）配置：

属性	值	是否必须
name	角色名	是
permissions	权限	是

permissions分类：

属性	值
ADMIN	授权所有在azkaban中的访问权限
READ	授权给用户所有项目和日志的读权限
WRITE	用于用户上传文件，改变job属性配置 或 删除任何项目
EXECUTE	允许用户在任何工作流中触发execution
SCHEDULE	用户可以为所有的flow添加或删除任务
CREATEPROJECTS	用户创建一个新项目

azkaban部署（多执行器模式）

• 下载github源码,地址：https://github.com/azkaban/azkaban
  

  image.png

• 编译、打包工程，命令：

./gradlew build

编译过程需要下载依赖jar包，会出现下载失败的情况，建议开启VPN或者修改jar包仓库地址为国内镜像地址。

• 初始化数据库：
  初始化脚本目录：azkaban-db/src/main/sql
• 部署工程
  web管理工程：azkaban-web-server/build/install/azkaban-web-server
  任务执行工程：azkaban-exec-server/build/install/azkaban-exec-server
• 修改配置文件

#工程名
azkaban.name=Test
#工程IP地址，不配置默认为localhost，会导致任务调度不成功
azkaban.server.hostname=xx.xx.x.xx
#主题
azkaban.label=My Local Azkaban
#标签
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
#时区
default.timezone.id=Asia/Shanghai
#执行端口
executor.port=8082
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
# 用户管理配置文件
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=http://localhost:8081
# mail settings
mail.sender=xxx
mail.host=xxx
mail.user=xxx
mail.password=xxx
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=xxx
job.success.email=xxx
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=xxx
mysql.host=xxx
mysql.database=xxx
mysql.user=xxx
mysql.password=xxx
mysql.numconnections=100
# Azkaban Executor settings
# 执行器最大线程数
executor.maxThreads=50
#最大执行flow数
executor.flow.threads=30
#单个flow最大执行任务数
flow.num.job.threads=20

• 启动工程
  • 启动executor-server，页面访问http://x.x.x.x:xxxx/executor?action=activate，激活执行器
  • 启动web-server

• 访问页面

  
  image.png
• 工作流程配置
  提供一套规则用于流程任务配置，根据配置自动化处理流程中的任务，多个flow可以并行执行，单个flow的task也可以并行执行，且可以配置并行数量，超过限制的将暂存到队列等待执行,配置规则：

config: 
  sql_job.database.type: mysql 
  sql_job.database.driver: com.mysql.jdbc.Driver
  sql_job.database.host: host
  sql_job.database.port: port
  sql_job.database.database: schema
  sql_job.database.username: username
  sql_job.database.password: password
nodes:
  - name: name
    type: command
    dependsOn: 
        - xxx
        - xxx
    config:
      command: python xxx xxx
 - name:name
    type: sql_job
    dependsOn:
        - xxx
        - xxx
    config:
      sql_job.scripts: xxx

属性	值
config	全局配置信息，配置任务执行所需资源，如数据库链接信息
nodes	任务节点，包含流程中的所有任务
nodes->name	任务名称（唯一）
nodes->type	任务类型
nodes->dependsOn	任务依赖关系
nodes->config->command	任务执行的脚本或者命令
nodes->config->sql_job.scripts	sql类型任务执行脚本的目录

• 提供多种可拔插式插件，可在azkaban.properties配置文件指定插件目录：

azkaban.jobtype.plugin.dir=plugins/jobtypes

常用的插件类型：command、sql_job