Oozie4.2安装笔记

下载oozie4.2版本

• oozie4.2版本的release note：https://oozie.apache.org/docs/4.2.0/release-log.txt
  这里面对我们最有帮助的feature就是修复了rerun时的bug：OOZIE-2029

• 下载地址 http://www.apache.org/dyn/closer.lua/oozie/4.2.0

编译

• 参考http://oozie.apache.org/docs/4.2.0/ENG_Building.html
• 解压
  • tar -xvf oozie-4.2.gz
• 编译
  • ./bin/mkdistro.sh -DskipTests -Phadoop-2 -Dhadoop.version=2.6.0 -Dhbase.version=0.98.12-hadoop2
• 说明：
  • 需要注释掉pom中的对 http://repository.codehaus.org/ maven库的依赖
  • hadoop版本使用2.6.0版本，hbase版本使用公司的maven库版本0.98.12-hadoop2（这里可能有问题，依赖的hbase jar不存在，需要更换为hbase common的依赖）
  • jdk版本为1.6.0
  • 如果有其他依赖组件的版本需要自定义参考oozie安装文档

安装：

• 编译成功后在oozie-4.2.0/distro/target路径下生成oozie-4.2.0-distro.tar.gz
• 将tar.gz包拷贝到目标机器的目标安装路径，并解压
• 将相关依赖jar拷贝到oozie-4.2.0/libext目录下（目录不存在需要创建）
  • 拷贝hadoop相关依赖jar
  • 拷贝自定义的action/EL扩展jar包
  • 拷贝extJS的jar包
• 配置
  • ssh无密码登陆配置：oozie server机器到无密码登陆hadoop的slave机器
  • oozie-site.xml
  • hadoop集群配置

      NOTE: Configure the Hadoop cluster with proxyuser for the Oozie process.
      The following two properties are required in Hadoop core-site.xml:
       <!-- OOZIE -->
       <property>
         <name>hadoop.proxyuser.[OOZIE_SERVER_USER].hosts</name>
         <value>[OOZIE_SERVER_HOSTNAME]</value>
       </property>
       <property>
         <name>hadoop.proxyuser.[OOZIE_SERVER_USER].groups</name>
         <value>[USER_GROUPS_THAT_ALLOW_IMPERSONATION]</value>
       </property>
       Replace the capital letter sections with specific values and then restart Hadoop.

启动

• sharelib
  • ./bin/oozie-setup.sh sharelib create -fs hdfs://<oozie-server-hostname>:9000
• db create(derby)
  • ./bin/oozie-setup.sh db create -run
• prepare-war
  • ./bin/oozie-setup.sh prepare-war
• server start
  • ./bin/oozied.sh start

环境配置

• 配置OOZIE_HOME并将$OOZIE_HOME/bin加入PATH中
  • export OOZIE_HOME=<oozie_install_dir>
  • export PATH=$PATH:$OOZIE_HOME/bin
• 配置OOZIE_URL
  • export OOZIE_URL=http://<oozie-server-hostname>:11000/oozie

测试

• 查看日志异常
  • oozie.log
  • catalina.out
• oozie admin -status
  • 表示正常：System mode: NORMAL
• 打开前端页面
  • http://localhost:11000/oozie
• run examples
  • 将oozie-examples.tar.gz解压在当前目录
  • 将解压后的examples路径上传到hdfs上
  • 替换job.properties中的环境地址以及examples在hdfs的地址
• 自定义action

安装Workflow Generator Tool

• Workflow设计的前端工具
• 参考：https://github.com/apache/oozie/tree/master/workflowgenerator
• ./bin/mkdistro.sh -Pwfgen -Phadoop-2 -DskipTests -Dhadoop.version=2.6.0 -Dhbase.version=0.98.12-hadoop2

常见问题：

• 将hadoop的相关包拷贝后编译的war包有依赖冲突，删除冲突的版本包