由于之前做过这方面的工作,之前没有经验也独自搞了好久,希望可以帮到大家!!!
早期版本4.3.0以及之前版本
1. oozie调试Spark应用程序
在SparkOpts中添加:
sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,syspend=y,address=8000"
2. oozie调试Mapper进行调度相应的Action的过程
<configuration>
<property>
<name>oozie.launcher.mapred.child.java.opts</name>
<value>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</value>
</property>
</configuration>
最新版本5.0.0
1. oozie调试Spark应用程序(与之前版本相同)
在SparkOpts中添加:
sparkOpts=--conf "spark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,syspend=y,address=8000"
2. oozie调试Mapper进行调度相应的Action的过程
<configuration>
<property>
<name>yarn.app.mapreduce.am.admin-command-opts</name>
<value>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</value>
</property>
</configuration>
3. 调试单个action的launcher
<launcher>
<java-opts>agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8002</java-opts>
</launcher>
其中具体的标签位置以及写法可参考client的resource中定义的xsd文件
网友评论