美文网首页
Apache Oozie 如何去 Debug

Apache Oozie 如何去 Debug

作者: nobigogle | 来源:发表于2020-05-04 08:07 被阅读0次

    由于之前做过这方面的工作,之前没有经验也独自搞了好久,希望可以帮到大家!!!

    早期版本4.3.0以及之前版本

    1. oozie调试Spark应用程序

    在SparkOpts中添加:

    sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,syspend=y,address=8000"
    

    2. oozie调试Mapper进行调度相应的Action的过程

    <configuration>
    <property>
    <name>oozie.launcher.mapred.child.java.opts</name>
    <value>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</value>
    </property>
    </configuration>
    

    最新版本5.0.0

    1. oozie调试Spark应用程序(与之前版本相同)

    在SparkOpts中添加:

    sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,syspend=y,address=8000"
    

    2. oozie调试Mapper进行调度相应的Action的过程

    <configuration>
    <property>
    <name>yarn.app.mapreduce.am.admin-command-opts</name>
    <value>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</value>
    </property>
    </configuration>
    

    3. 调试单个action的launcher

    <launcher>
           <java-opts>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</java-opts>
    </launcher>
    

    其中具体的标签位置以及写法可参考client的resource中定义的xsd文件

    相关文章

      网友评论

          本文标题:Apache Oozie 如何去 Debug

          本文链接:https://www.haomeiwen.com/subject/dzteghtx.html