该篇文章介绍多种在ideallij中单步调试spark源码的方法，以sparksql为例来进行说明
方法一 直接通过app的方式进行单步调试
本方法假设开发者已经搭建了spark在ideallij中的的运行环境，并且可以成功运行（注意，是ideallij中运行，而不是通过打jar包的方式运行）
app源码
package com.tencent.cubeli.sparksql
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession
object DataFrameCreate {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("df create")
val sc = new SparkContext(conf)
val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").getOrCreate()
import spark.implicits._
val df = spark.read.json("file:///Users/waixingren/bigdata-java/spark/sparkproj/data/nation.json")
// println("=========group by sum wich dataframe===================")
df.
filter($"nationkey"<9).
groupBy("regionkey").
count.
show()
}
}
注意，以上是以local模式运行sparksql，这种方式的优点是driver和executor都在同一个本地jvm中，在单步调试时既可以跟踪driver流程，也可以跟踪executor流程。如果不设置成local模式，那么只能在本地跟踪driver的处理流程。
在app中设置断点
如下图所示：
调试，点下图的虫子标志
在提交了运行之后，程序会在断点处停止，等待单步调试，如下图所示：
下载源码
在上一步停止之后，点击step in(根据keymap映射不同点击的按键有所不同)进入方法，在第一次进入时，ideallij会显示这个方法是它通过反编译反编译出来的，这种代码虽然也可用于调试，但是不包含注释等信息，但是右上角会有一个提示让下载源码，点击下载源码，ideallij后台就会去远程maven仓库下载*source.jar，并自动添加到工程的源码依赖中，这时就可以单步调试spark的源码了
可以看到，这种方式的优点是简便，易于操作，但是缺点也很明显，单步调试的源码并非我们自己的源码，而是从mavne仓库下载的*source.jar文件，如果我们自己修改了源码，就得在maven打包时，打出*source.jar文件，并install到本地maven仓库，才能保证单步调试的是最新的spark源码。
方法二 远程调试方式
该方法要利用ideallij的远程调试功能，eclipse里也有该功能。该方法的优点是，可以调试现网已经在运行的spark集群，缺点是配置稍微优点麻烦。
导入源码
选择spark源码根目录，点击“maven”，然后next
这时会有很多maven进行构建时的很多profile让选择，可以根据实际情况进行勾选，不勾选就是用默认的profile：
一路点击next，可以根据实际情况进行修改，不修改也可以，最后点检完成，执行spark源码导入，idealilij会进行该工程的依赖解析，等解析完成后就可以在package试图看到该工程的包试图，说明导入成功。
配置远程调试
点击Edit Configurations...
点击“+”，选择remote
配置jvm远程调试选项，主要是host和port需要修改成spark进程所在的host和jmx端口号，如下图，可以修改“Name：”，“Host”，“Port”，这里的host一定要是spark运行的主机，port需要是远程没有被使用的端口，并且要记住此端口，待会要用。
配置完之后保存。
在spark-defaults.conf文件中添加以下配置：
spark.driver.extraJavaOptions -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005
spark.executor.extraJavaOptions -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005
其中的spark.driver.extraJavaOptions是用来调试driver的，spark.executor.extraJavaOptions是用来调试executor的，如果driver和executor不在同一个节点，那么端口可以相同，如果在同一个节点，那么端口不能一样。如果suspend=y，说明spark进程在启动时会挂起来，等待ideallij远程连接成功之后在继续启动；如果是n，那么不用等待ideallij远程连接，就启动，但是会一直监听这个端口，等待ideallij远程连接。
连接
等spark进程挂起或者启动成功之后（根据suspend是y或者n来决定），在ideallij中设置断点，并启动刚才配置的远程连接，就可以连接到spark的jvm进程上，并进行远程的但不调试了
网友评论