任务调度-Oozie的安装

Oozie的安装

(0)前提条件:

maven3.5.0 Mysql5.7.19-0ubuntu0.16.04.1 tomcat7.0.79
sudo apt install maven

(1)编译

在本地执行
4.3版本才支持jdk1.8
在根目录的pom.xml中修改组建的版本
<pre><code class="shell">
./mkdistro.sh -DskipTests // 执行编译脚本
</code></pre>
成功:
Oozie distro created, DATE[2017.11.14-03:19:01GMT] VC-REV[unavailable], available at [/home/ginger/oozie-4.3.0-src/oozie-4.3.0/distro/target]

(2)安装oozie server

将oozie-4.0.1目录下的distro/target目录下的oozie-4.0.1-distro.tar.gz解压至/usr/local/package目录下
然后解压下面三个文件夹
<pre><code class="shell">
tar -zxvf oozie-client-4.2.0.tar.gz
tar -zxvf oozie-examples.tar.gz // oozie官方实例
tar -zxvf oozie-sharelib-4.2.0.tar.gz
</code></pre>

(3)创建libetx文件夹, 生成war包

移动hadoop的jar到指定目录:
mkdir /usr/local/package/oozie-4.3.0/libetx
cp {HADOOP_INSTALL}/share/hadoop//.jar libext/
cp {HADOOP_INSTALL}/share/hadoop//lib/.jar libext/

下载ext2.2.zip 并移动到该目录下
<pre><code class="shell">
bin/oozie-setup.sh prepare-war // 生成war包 需安装sudo
</code></pre>

(4)配置oozie环境变量,修改配置文件

<pre><code class="shell">
oozie配置文件oozie-site.xml修改如下：
export OOZIE_HOME=/usr/local/package/oozie-4.3.0
export CATALINA_HOME=/usr/local/package/oozie-4.3.0/oozie-server
export PATH={OOZIE_HOME}/bin:$PATH
export OOZIE_URL=http://10.101.12.23:11000
export OOZIE_CONFIG=/usr/local/package/oozie-4.3.0/conf
</code></pre>

(5)创建 sharelib:

<pre><code class="shell">
bin/oozie-setup.sh sharelib create -fs hdfs://localhost:9000 /localpath
</code></pre>

查看sharelib是否正确配置:
<pre><code class="shell">
oozie admin -oozie http://localhost:11000/oozie -shareliblist
</code></pre>

(6)配置mysql数据库,建表

先建表: create database oozie;
在bin目录下执行:
<pre><code class="shell">
bin/ooziedb.sh create -sqlfile oozie.sql // 生成数据库脚本文件
bin/oozie-setup.sh db create -run -sqlfile oozie.sql //
</code></pre>
建表
移动jdbc到指定目录
<pre><code class="shell">
cp mysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar /usr/local/package/oozie-4.3.0/lib
</code></pre>

(7)修改hadoop配置文件(namenode的core-site.xml)

添加如下配置：

<property>  
    <name>hadoop.proxyuser.oozie.hosts</name>  
    <value>*</value>  
</property>  
<property>  
    <name>hadoop.proxyuser.oozie.groups</name>  
    <value>*</value>  
</property> 

不重启刷新hadoop配置的命令：
<pre><code class="shell">
hdfs dfsadmin -refreshSuperUserGroupsConfiguration
yarn rmadmin -refreshSuperUserGroupsConfiguration
</code></pre>

(8)启动oozie并检查状态：

bin/oozied.sh start
查看运行状态:
<pre><code class="shell">
bin/oozie admin -oozie http://localhost:11000/oozie -status
</code></pre>