美文网首页
大数据开发环境搭建之Azkaban安装

大数据开发环境搭建之Azkaban安装

作者: 羋学僧 | 来源:发表于2020-08-27 09:48 被阅读0次

Azkaban下载安装

1、下载Azkaban

官网下载地址

官网提供的压缩包是Azkaban2.5版本的,但是最新的版本是3.0。如果需要使用3.0版本,只需要到github上下载源码后编译即可。github地址是:GitHub - azkaban/azkaban: Azkaban workflow manager.

Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz
Azkaban初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz
Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz

2、安装Azkaban Web服务器

cd /home/bigdata/soft/
mkdir /home/bigdata/apps/azkaban-2.5.0
tar -zxvf azkaban-web-server-2.5.0.tar.gz

mv azkaban-web-2.5.0/ /home/bigdata/apps/azkaban-2.5.0

3、安装Azkaban Excutor服务器

tar -zxvf azkaban-executor-server-2.5.0.tar.gz

mv azkaban-executor-2.5.0/ /home/bigdata/apps/azkaban-2.5.0

4、安装Azkaban脚本导入

tar -zxvf azkaban-sql-script-2.5.0.tar.gz

mv azkaban-2.5.0/ /home/bigdata/apps/azkaban-2.5.0/azkaban-sql-2.5.0/

进入MySQL

mysql -ubigdata -p123456

创建azkaban数据库

mysql> create database azkaban; 
 
mysql> show databases; 

导入数据:

mysql> use azkaban;
mysql> source /home/bigdata/apps/azkaban-2.5.0/azkaban-sql-2.5.0/create-all-sql-2.5.0.sql;

然后查看表:

mysql> show tables;

5、创建SSL配置

最好是在 azkaban 目录下:
执行命令:

keytool -keystore keystore -alias jetty -genkey -keyalg RSA


完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore拷贝或者移动到 azkaban web 服务 器根目录中:
mv keystore azkaban-web-2.5.0/

6、修改配置文件

cd azkaban-web-2.5.0/conf 

修改配置文件:

vim azkaban.properties

内容如下:


azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/web/
default.timezone.id=Asia/Shanghai

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/conf/azkaban-users.xml

#Loader for projects
executor.global.properties=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=/home/bigdata/apps/azkaban-2.5.0/projects

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=bigdata
mysql.password=123456
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore
jetty.password=123456
jetty.keypassword=123456
jetty.truststore=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore
jetty.trustpassword=123456

# Azkaban Executor settings
executor.port=12321

# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache

配置文件讲解:

cat azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test  #服务器UI名称,显示在服务器上面的名字
azkaban.label=My Local Azkaban  #描述
azkaban.color=#FF3601 #演示
azkaban.default.servlet.path=/index    
web.resource.dir=/software/azkaban/azkaban-web-2.5.0/web/ #默认的web路径
default.timezone.id=Asia/Shanghai #时区

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限权利默认类
user.manager.xml.file=/software/azkaban/azkaban-web-2.5.0/conf/azkaban-users.xml #用户配置

#Loader for projects
executor.global.properties=/software/azkaban/azkaban-executor-2.5.0/conf/global.properties   #global配置文件地址
azkaban.project.dir=/software/azkaban/projects  #项目路径

database.type=mysql  #数据库类型 
mysql.port=3306 #端口号
mysql.host=localhost #主机地址
mysql.database=azkaban #数据库名字
mysql.user=root #用户名
mysql.password=111111 #密码
mysql.numconnections=100 #最大连接数

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口号
jetty.port=8081 #Jetty端口
jetty.keystore=/software/azkaban/azkaban-web-2.5.0/keystore #SSL的文件名
jetty.password=111111 #SSL的密码
jetty.keypassword=111111 #Jetty的密码
jetty.truststore=/software/azkaban/azkaban-web-2.5.0/keystore #SSL的文件名
jetty.trustpassword=111111 #SSL的密码

# Azkaban Executor settings
executor.port=12321  #执行服务器端口

# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache #缓存目录 

修改用户配置文件:

vim azkaban-users.xml

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
        <user username="admin" password="admin" roles="metrics,admin"/>
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>

进入到修改executor里面:

cd /home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/
vim azkaban.properties

内容如下:

#Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/plugins/jobtypes

#Loader for projects
executor.global.properties=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=/home/bigdata/apps/azkaban-2.5.0/projects

database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=bigdata
mysql.password=123456
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

7、配置环境变量

 vim ~/.bashrc
export AZKABAN_WEB_HOME=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0
export AZKABAN_EXE_HOME=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin
source ~/.bashrc

8、启动

启动 web 服务器

azkaban-web-start.sh

停止命令:
azkaban-web-shutdown.sh

启动执行服务器

azkaban-executor-start.sh

停止命名:
azkaban-executor-shutdown.sh

通过web页面查看
https://bigdata02:8443/

相关文章

网友评论

      本文标题:大数据开发环境搭建之Azkaban安装

      本文链接:https://www.haomeiwen.com/subject/cuyfsktx.html