美文网首页
ideallij中单步调试spark源码的两种方法

ideallij中单步调试spark源码的两种方法

作者: 兵马勇_8f4f | 来源:发表于2017-11-04 15:38 被阅读0次

    该篇文章介绍多种在ideallij中单步调试spark源码的方法,以sparksql为例来进行说明

    方法一 直接通过app的方式进行单步调试

    本方法假设开发者已经搭建了spark在ideallij中的的运行环境,并且可以成功运行(注意,是ideallij中运行,而不是通过打jar包的方式运行)

    app源码

    package com.tencent.cubeli.sparksql

    import org.apache.spark.{SparkConf, SparkContext}

    import org.apache.spark.sql.SparkSession

    object DataFrameCreate {

    def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local").setAppName("df create")

    val sc = new SparkContext(conf)

    val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").getOrCreate()

    import spark.implicits._

    val df = spark.read.json("file:///Users/waixingren/bigdata-java/spark/sparkproj/data/nation.json")

    //    println("=========group by sum wich dataframe===================")

    df.

    filter($"nationkey"<9).

    groupBy("regionkey").

    count.

    show()

    }

    }

    注意,以上是以local模式运行sparksql,这种方式的优点是driver和executor都在同一个本地jvm中,在单步调试时既可以跟踪driver流程,也可以跟踪executor流程。如果不设置成local模式,那么只能在本地跟踪driver的处理流程。

    在app中设置断点

    如下图所示:

    调试,点下图的虫子标志

    在提交了运行之后,程序会在断点处停止,等待单步调试,如下图所示:

    下载源码

    在上一步停止之后,点击step in(根据keymap映射不同点击的按键有所不同)进入方法,在第一次进入时,ideallij会显示这个方法是它通过反编译反编译出来的,这种代码虽然也可用于调试,但是不包含注释等信息,但是右上角会有一个提示让下载源码,点击下载源码,ideallij后台就会去远程maven仓库下载*source.jar,并自动添加到工程的源码依赖中,这时就可以单步调试spark的源码了

    可以看到,这种方式的优点是简便,易于操作,但是缺点也很明显,单步调试的源码并非我们自己的源码,而是从mavne仓库下载的*source.jar文件,如果我们自己修改了源码,就得在maven打包时,打出*source.jar文件,并install到本地maven仓库,才能保证单步调试的是最新的spark源码。

    方法二 远程调试方式

    该方法要利用ideallij的远程调试功能,eclipse里也有该功能。该方法的优点是,可以调试现网已经在运行的spark集群,缺点是配置稍微优点麻烦。

    导入源码

    选择spark源码根目录,点击“maven”,然后next

    这时会有很多maven进行构建时的很多profile让选择,可以根据实际情况进行勾选,不勾选就是用默认的profile:

    一路点击next,可以根据实际情况进行修改,不修改也可以,最后点检完成,执行spark源码导入,idealilij会进行该工程的依赖解析,等解析完成后就可以在package试图看到该工程的包试图,说明导入成功。

    配置远程调试

    点击Edit Configurations...

    点击“+”,选择remote

    配置jvm远程调试选项,主要是host和port需要修改成spark进程所在的host和jmx端口号,如下图,可以修改“Name:”,“Host”,“Port”,这里的host一定要是spark运行的主机,port需要是远程没有被使用的端口,并且要记住此端口,待会要用。

    配置完之后保存。

    在spark-defaults.conf文件中添加以下配置:

    spark.driver.extraJavaOptions  -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005

    spark.executor.extraJavaOptions  -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005

    其中的spark.driver.extraJavaOptions是用来调试driver的,spark.executor.extraJavaOptions是用来调试executor的,如果driver和executor不在同一个节点,那么端口可以相同,如果在同一个节点,那么端口不能一样。如果suspend=y,说明spark进程在启动时会挂起来,等待ideallij远程连接成功之后在继续启动;如果是n,那么不用等待ideallij远程连接,就启动,但是会一直监听这个端口,等待ideallij远程连接。

    连接

    等spark进程挂起或者启动成功之后(根据suspend是y或者n来决定),在ideallij中设置断点,并启动刚才配置的远程连接,就可以连接到spark的jvm进程上,并进行远程的但不调试了

    相关文章

      网友评论

          本文标题:ideallij中单步调试spark源码的两种方法

          本文链接:https://www.haomeiwen.com/subject/ianfmxtx.html