美文网首页
大数据开发环境搭建之Azkaban安装

大数据开发环境搭建之Azkaban安装

作者: 羋学僧 | 来源:发表于2020-08-27 09:48 被阅读0次

    Azkaban下载安装

    1、下载Azkaban

    官网下载地址

    官网提供的压缩包是Azkaban2.5版本的,但是最新的版本是3.0。如果需要使用3.0版本,只需要到github上下载源码后编译即可。github地址是:GitHub - azkaban/azkaban: Azkaban workflow manager.

    Azkaban Web 服务器:azkaban-web-server-2.5.0.tar.gz
    Azkaban初始化脚本文件:azkaban-sql-script-2.5.0.tar.gz
    Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.0.tar.gz

    2、安装Azkaban Web服务器

    cd /home/bigdata/soft/
    mkdir /home/bigdata/apps/azkaban-2.5.0
    
    tar -zxvf azkaban-web-server-2.5.0.tar.gz
    
    mv azkaban-web-2.5.0/ /home/bigdata/apps/azkaban-2.5.0
    

    3、安装Azkaban Excutor服务器

    tar -zxvf azkaban-executor-server-2.5.0.tar.gz
    
    mv azkaban-executor-2.5.0/ /home/bigdata/apps/azkaban-2.5.0
    

    4、安装Azkaban脚本导入

    tar -zxvf azkaban-sql-script-2.5.0.tar.gz
    
    mv azkaban-2.5.0/ /home/bigdata/apps/azkaban-2.5.0/azkaban-sql-2.5.0/
    

    进入MySQL

    mysql -ubigdata -p123456
    

    创建azkaban数据库

    mysql> create database azkaban; 
     
    mysql> show databases; 
    

    导入数据:

    mysql> use azkaban;
    mysql> source /home/bigdata/apps/azkaban-2.5.0/azkaban-sql-2.5.0/create-all-sql-2.5.0.sql;
    

    然后查看表:

    mysql> show tables;
    

    5、创建SSL配置

    最好是在 azkaban 目录下:
    执行命令:

    keytool -keystore keystore -alias jetty -genkey -keyalg RSA
    


    完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore拷贝或者移动到 azkaban web 服务 器根目录中:
    mv keystore azkaban-web-2.5.0/
    

    6、修改配置文件

    cd azkaban-web-2.5.0/conf 
    

    修改配置文件:

    vim azkaban.properties
    

    内容如下:

    
    azkaban.color=#FF3601
    azkaban.default.servlet.path=/index
    web.resource.dir=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/web/
    default.timezone.id=Asia/Shanghai
    
    #Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager
    user.manager.xml.file=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/conf/azkaban-users.xml
    
    #Loader for projects
    executor.global.properties=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
    azkaban.project.dir=/home/bigdata/apps/azkaban-2.5.0/projects
    
    database.type=mysql
    mysql.port=3306
    mysql.host=localhost
    mysql.database=azkaban
    mysql.user=bigdata
    mysql.password=123456
    mysql.numconnections=100
    
    # Velocity dev mode
    velocity.dev.mode=false
    
    # Azkaban Jetty server properties.
    jetty.maxThreads=25
    jetty.ssl.port=8443
    jetty.port=8081
    jetty.keystore=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore
    jetty.password=123456
    jetty.keypassword=123456
    jetty.truststore=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0/keystore
    jetty.trustpassword=123456
    
    # Azkaban Executor settings
    executor.port=12321
    
    # mail settings
    mail.sender=
    mail.host=
    job.failure.email=
    job.success.email=
    
    lockdown.create.projects=false
    
    cache.directory=cache
    
    

    配置文件讲解:

    cat azkaban.properties
    
    #Azkaban Personalization Settings
    azkaban.name=Test  #服务器UI名称,显示在服务器上面的名字
    azkaban.label=My Local Azkaban  #描述
    azkaban.color=#FF3601 #演示
    azkaban.default.servlet.path=/index    
    web.resource.dir=/software/azkaban/azkaban-web-2.5.0/web/ #默认的web路径
    default.timezone.id=Asia/Shanghai #时区
    
    #Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager #用户权限权利默认类
    user.manager.xml.file=/software/azkaban/azkaban-web-2.5.0/conf/azkaban-users.xml #用户配置
    
    #Loader for projects
    executor.global.properties=/software/azkaban/azkaban-executor-2.5.0/conf/global.properties   #global配置文件地址
    azkaban.project.dir=/software/azkaban/projects  #项目路径
    
    database.type=mysql  #数据库类型 
    mysql.port=3306 #端口号
    mysql.host=localhost #主机地址
    mysql.database=azkaban #数据库名字
    mysql.user=root #用户名
    mysql.password=111111 #密码
    mysql.numconnections=100 #最大连接数
    
    # Velocity dev mode
    velocity.dev.mode=false
    
    # Azkaban Jetty server properties.
    jetty.maxThreads=25 #最大线程数
    jetty.ssl.port=8443 #Jetty SSL端口号
    jetty.port=8081 #Jetty端口
    jetty.keystore=/software/azkaban/azkaban-web-2.5.0/keystore #SSL的文件名
    jetty.password=111111 #SSL的密码
    jetty.keypassword=111111 #Jetty的密码
    jetty.truststore=/software/azkaban/azkaban-web-2.5.0/keystore #SSL的文件名
    jetty.trustpassword=111111 #SSL的密码
    
    # Azkaban Executor settings
    executor.port=12321  #执行服务器端口
    
    # mail settings
    mail.sender=
    mail.host=
    job.failure.email=
    job.success.email=
    
    lockdown.create.projects=false
    
    cache.directory=cache #缓存目录 
    

    修改用户配置文件:

    vim azkaban-users.xml
    
    
    <azkaban-users>
            <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
            <user username="metrics" password="metrics" roles="metrics"/>
            <user username="admin" password="admin" roles="metrics,admin"/>
            <role name="admin" permissions="ADMIN" />
            <role name="metrics" permissions="METRICS"/>
    </azkaban-users>
    
    

    进入到修改executor里面:

    cd /home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/
    
    vim azkaban.properties
    

    内容如下:

    #Azkaban
    default.timezone.id=Asia/Shanghai
    
    # Azkaban JobTypes Plugins
    azkaban.jobtype.plugin.dir=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/plugins/jobtypes
    
    #Loader for projects
    executor.global.properties=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties
    azkaban.project.dir=/home/bigdata/apps/azkaban-2.5.0/projects
    
    database.type=mysql
    mysql.port=3306
    mysql.host=localhost
    mysql.database=azkaban
    mysql.user=bigdata
    mysql.password=123456
    mysql.numconnections=100
    
    # Azkaban Executor settings
    executor.maxThreads=50
    executor.port=12321
    executor.flow.threads=30
    

    7、配置环境变量

     vim ~/.bashrc
    
    export AZKABAN_WEB_HOME=/home/bigdata/apps/azkaban-2.5.0/azkaban-web-2.5.0
    export AZKABAN_EXE_HOME=/home/bigdata/apps/azkaban-2.5.0/azkaban-executor-2.5.0
    export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin
    
    source ~/.bashrc
    

    8、启动

    启动 web 服务器

    azkaban-web-start.sh
    

    停止命令:
    azkaban-web-shutdown.sh
    

    启动执行服务器

    azkaban-executor-start.sh
    

    停止命名:
    azkaban-executor-shutdown.sh
    

    通过web页面查看
    https://bigdata02:8443/

    相关文章

      网友评论

          本文标题:大数据开发环境搭建之Azkaban安装

          本文链接:https://www.haomeiwen.com/subject/cuyfsktx.html