美文网首页
004.Azkaban-3.x Solo-Server模式部署

004.Azkaban-3.x Solo-Server模式部署

作者: CoderJed | 来源:发表于2019-08-23 13:53 被阅读0次

环境准备

  • JDK-1.8+

软件准备


1. solo-server模式简介

solo-server模式:使用内置的数据库H2,并且Web服务器和Executor服务器都在同一进程中运行

2. 安装过程

(1) 解压azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz包,解压后的目录重名为azkaban-solo-server

[hadoop@beh07 azkaban-solo-server]$ ll
total 8
drwxr-xr-x 3 hadoop hadoop   67 Aug 21 14:40 bin
drwxr-xr-x 2 hadoop hadoop   82 Aug 21 14:40 conf
drwxr-xr-x 2 hadoop hadoop 4096 Aug 21 14:40 lib
drwxr-xr-x 3 hadoop hadoop   22 Aug 21 14:40 plugins
drwxr-xr-x 2 hadoop hadoop 4096 Aug 21 14:40 sql
drwxr-xr-x 6 hadoop hadoop   73 Aug 21 14:40 web

(2) 安装包内各目录说明

目录 描述
bin 存放启动/停止azkaban-solo-server的脚本
conf azkaban-solo-server的配置文件
lib 依赖的jar包
extlib(解压后不存在) 依赖的jar包
plugins 插件的安装目录
web azkaban-solo-server所有web相关的文件(CSS/图片/HTML等)

conf目录下有3个文件:

文件 描述
azkaban.properties 主要配置文件,配置运行时参数
azkaban-users.xml 权限控制文件,用于添加用户和角色
global.properties 全局配置,作用于所有的workflow和job
azkaban.private.properties(解压后不存在) 用于存放密码,例如MySQL的密码

(3) 修改conf/azkaban.properties文件

  1. 每行的末尾不要留空格
  2. 时区一定是Asia/Shanghai
  3. 所有的路径写成绝对路径
  4. 各个配置项参考Azkaban-3.x 配置信息说明
azkaban.name=azkaban-3.76.0
azkaban.label=solo-server
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
azkaban.display.execution_page_size=16
azkaban.use.multiple.executors=true
azkaban.project.dir=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/projects
azkaban.jobtype.plugin.dir=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/plugins/jobtypes
web.resource.dir=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/web
cache.directory=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/cache
default.timezone.id=Asia/Shanghai
lockdown.create.projects=false
velocity.dev.mode=false

user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/conf/azkaban-users.xml

executor.port=12321
executor.connector.stats=true
executor.maxThreads=50
executor.flow.threads=30
executor.global.properties=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/conf/global.properties

database.type=h2
h2.path=/opt/beh/core/azkaban-3.76.0/azkaban-solo-server/h2
h2.create.tables=true

jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
jetty.connector.stats=true

# mail.sender=
# mail.host=
# job.failure.email=
# job.success.email=

(4) 启动服务

  • 一定要在azkaban-solo-server目录下执行启动命令,否则会找不到sql/database.properties文件
[hadoop@beh07 azkaban-solo-server]$ bin/start-solo.sh

启动后新创建了一些目录:

drwxr-xr-x 4 hadoop hadoop   126 Aug 21 16:34 bin
drwxr-xr-x 2 hadoop hadoop    82 Aug 21 15:55 conf
-rw-rw-r-- 1 hadoop hadoop     6 Aug 21 16:37 currentpid
drwxrwsr-x 2 hadoop hadoop     6 Aug 21 16:37 executions
-rw-rw-r-- 1 hadoop hadoop     5 Aug 21 16:37 executor.port
-rw-rw-r-- 1 hadoop hadoop 45056 Aug 21 16:37 h2.mv.db
drwxr-xr-x 2 hadoop hadoop  4096 Aug 21 14:40 lib
drwxrwxr-x 2 hadoop hadoop    35 Aug 21 16:37 local
drwxr-xr-x 3 hadoop hadoop    22 Aug 21 14:40 plugins
drwxrwxr-x 2 hadoop hadoop     6 Aug 21 16:37 projects
-rw-rw-r-- 1 hadoop hadoop 15892 Aug 21 16:37 soloServerLog__2019-08-21+16:37:47.out
drwxr-xr-x 2 hadoop hadoop  4096 Aug 21 16:37 sql
drwxrwxr-x 2 hadoop hadoop     6 Aug 21 16:37 temp
drwxr-xr-x 6 hadoop hadoop    73 Aug 21 14:40 web

查看进程:

[hadoop@beh07 azkaban-3.76.0]$ jps
12610 AzkabanSingleServer
12623 Jps

(5) 访问WEB-UI

账号密码都是azkaban,登陆后页面如下:

这样,Azkaban solo-server模式就已经搭建成功了!

需要停止服务的话,执行以下命令即可:

[hadoop@beh07 azkaban-solo-server]$ bin/shutdown-solo.sh
Killing solo-server. [pid: 16035], attempt: 1
shutdown succeeded

相关文章

  • 004.Azkaban-3.x Solo-Server模式部署

    环境准备 JDK-1.8+ 软件准备 azkaban-solo-server-0.1.0-SNAPSHOT.tar...

  • Azkaban最新3.71版本编译及安装

    在azkaban3.0 以后的版本,提供了3中安装模式。单 solo-server mode, two serve...

  • azkaban集群模式安装与execute-as-user配置

    简介 Azkaban在官网上的说明中介绍是支持集群模式的,网上看了不少文章,写得最多的是solo-server安装...

  • 部署步骤

    部署 Collector 单机模式 集群模式 部署 webui server,doc 部署 Java Agent,...

  • Redis集群部署

    Redis集群部署 Redis集群有多种部署模式,包括主从模式、哨兵模式、集群模式 主从模式   主从模式可以是一...

  • 基于 Docker 安装 Zookeeper

    概述 Zookeeper 部署有三种方式,单机模式、集群模式、伪集群模式,以下采用 Docker 的方式部署 单机...

  • vertx架构

    对于部署标准模式verticle,vertx的架构如下: 对于部署worker模式verticle,vertx的架...

  • Flink 集群与部署

    部署一个 Flink 集群,首先需要根据自己的实际情况选择适合自己的部署模式和部署平台 1.1 部署模式主要根据以...

  • Apache Flink——集群部署模式案例

    前言 本文重点是Flink on Yarn模式的部署,但在写Yarn 模式部署之前,说一下 独立模式(Standa...

  • Nacos系列:Nacos的三种部署模式

    三种部署模式 Nacos支持三种部署模式 1、单机模式:可用于测试和单机使用,生产环境切忌使用单机模式(满足不了高...

网友评论

      本文标题:004.Azkaban-3.x Solo-Server模式部署

      本文链接:https://www.haomeiwen.com/subject/uqazsctx.html