美文网首页
oozie使用(调用java外部类)

oozie使用(调用java外部类)

作者: wangliang938 | 来源:发表于2017-01-04 10:40 被阅读315次

在Oozie的workflow上面调用jar包
workflow.xml

<?xml version="1.0" encoding="UTF-8"?>
<workflow-app xmlns="uri:oozie:workflow:0.5" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapreduce.job.queuename</name>
<value>${queueName}</value>
</property>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
<property>
<name>oozie.launcher.mapred.job.queue.name</name>
<value>${oozie_launcher_queue}</value>
</property>
</configuration>
<main-class>com.idata.Helloworld</main-class>
<capture-output/>
</java>
<ok to="end"/>
<error to="fail"/>
</action>
<kill name="fail">
<message>shell </message>
</kill>
<end name="end"/>
</workflow-app>

job.properties

nameNode=hdfs://namehaservice
jobTracker=namenode1:8032
queueName=default
oozie_launcher_queue=root.oozie
oozie.use.system.libpath=true
sdaRoot=sda
oozie.wf.application.path=${nameNode}/user/${user.name}/${sdaRoot}/shell

如果依赖外部包, 需要在项目文件下创建一个lib包,和项目文件一起put到HDFS上面去。

Paste_Image.png

否则会出现ClassNotFoundException。

Paste_Image.png

Oozie有个配置文件,会将job中的所有java文件引导到一个libpath下面:
Properties代码(可以不配置)

#use custom library
oozie.libpath=${namenode}/user/hadoop/share/lib

相关文章

  • oozie使用(调用java外部类)

    在Oozie的workflow上面调用jar包workflow.xml

  • 获取Java匿名内部类持有的外部类对象

    熟悉Java的应该都知道,Java匿名内部类会隐式持有一个外部类对象。所以在匿名内部类里可以调用外部类各个方法。 ...

  • Kotlin 使用线程与内部类

    使用线程 实现Runnable 线程调用 和java差不多 内部类说明 class 前面的inner是为了表示这是...

  • 内部类

    内部类可以分为:非静态内部类;静态内部类;匿名内部类。 一、内部类 首先要说,Java为什么要使用内部类?java...

  • Java 内部类和泛型的理解

    Java 内部类 Java非静态内部类持有对外部类的引用,可以访问外部类的状态使用方法 OuterClass.th...

  • oozie-hive-ssh调用

    hive oozie调用hive action,注意,不是使用hive2 actionoozie需要上传 work...

  • [Kotlin] 内部类

    内部类也叫做嵌套类,在Java里是一个被大家经常使用到的东西。内部类除了匿名内部类外还分为三种,一种是可以自由访问...

  • (java知识小总结二)2018-05-31

    5.2Java 中的静态内部类:静态内部类是 static 修饰的内部类 特点:(1)、 静态内部类不能直接访问外...

  • 所有内部类

    内部类的使用(匿名内部类重点难点) 1.成员内部类 1)通过在外部类中创建内部类对象,调用内部类成员 class ...

  • kotlin和Java内部类和嵌套类

    Java中的内部类和嵌套类 以上的形式即是内部类。我们可以发现,内部类持有了外部类的引用,我们可以在内部类中调用s...

网友评论

      本文标题:oozie使用(调用java外部类)

      本文链接:https://www.haomeiwen.com/subject/lbjovttx.html