oozie搭建
下载
- http://archive-primary.cloudera.com/cdh5/cdh/5/
- 全部采用cdh版本搭建
- oozie-4.1.0-cdh5.4.11.tar.gz
安装
安装环境
- centOS6.6
- Java JDK 1.7
- Maven 3.3.9
- hadoop-2.6.0-cdh5.4.4
- oozie-4.1.0-cdh5.4.11.tar.gz
- ext-2.2.zip
编译
直接下载编译好的安装包;
http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11.tar.gz
注意事项
- ExtJS版本必须是2.2版本
- 推荐使用Oozie这个Linux用户。这个暂时不需要管 (有权限问题,我使用的hdfs用户)
安装介绍
-
本文解压的目录为:/home/oozie/software/oozie-4.1.0-cdh5.4.11
1152977299.jpg
目录分析:
oozie-server-----其实就是一个tomcat
src--------------源码
bin--------------脚本
lib-------------jar包
conf------------配置文件
oozie.war-------oozie工程
oozie-sharelib-.tar.gz----调用hadoop、hive等的jar包(重要)
oozie-example-.tar.gz---案例
配置hadoop的core-site.xml
- 我们的Hadoop平台分用户搭建hdfs搭建在hdfs用户下,这里部署ooize用户也使用该用户,因为使用新建oozie用户有hdfs权限问题,部署Oozie的主机名为hdp1。修改Hadoop的配置文件core-site.xml,增加如下配置内容:
<property>
<name>hadoop.proxyuser.hdfs.hosts</name>
<value>hdp1</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.groups</name>
<value>*</value>
</property>
解压 oozie-hadooplibs-4.1.0-cdh5.4.11.tar.gz
- 特别注意:解压的目录要与oozie解压的路径相同,解压完成后会在oozie根目录下生成一个hadooplibs文件!!!
创建libext目录
- 拷贝hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到libext/目录下
拷贝ext-2.2.zip到libext/目录下
1253940190.jpg创建war包并加到tomcat里
- 执行命令生产war到制定目录
$ bin/oozie-setup.sh prepare-war
792643509.jpg
重启hadoop进成,直到脱离安全模式
- 先stop namenode、datanode、resourcemanager、nodemanager、historyserver,然后再分别start。
- 执行如下命令
1286120026.jpgbin/oozie-setup.sh sharelib create -fs hdfs://hdp1.bjyn.com:9000 -locallib oozie-sharelib-4.1.0-cdh5.4.11-yarn.tar.gz
在 hdfs 50070 查看目录
初始化数据库
319659483.jpg 1085671577.jpgbin/ooziedb.sh create -sqlfile oozie.sql
bin/oozie-setup.sh db create -run -sqlfile /home/hdfs/software/oozie-4.1.0-cdh5.4.11/oozie.sql
启动oozie守护进程Bootsrap
1713114422.jpg$ bin/oozied.sh start 后台启动
$ bin/oozie-run.sh 前台运行
$ bin/oozie admin -oozie http://localhost:11000/oozie -status 验证服务启动状态
查看界面
- ip:11000/oozie/
参考:http://archive-primary.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.4.11/DG_QuickStart.html
网友评论