【Spark】Spark 编译调试

自动补全CLASSPATH 参数：
export SPARK_PREPEND_CLASSES=1
在编译完Spark源码后，通过设置该参数，可以自动加载Spark运行所需的classpath，这样就可以在源码包下直接跑local模式了。

Spark源码远程调试参数：
--driver-java-options "-Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,address=5005,server=y,suspend=y

Spark手动编译命令：
export MAVEN_OPTS="-Xms512m -Xmx3g -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=64m
./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0.10 -Phive -Phive-thriftserver -DskipTests package

一些参数：

• -pl core： 单独编译core模块
• deploy：发布至nexus
• 跳过测试： -Dmaven.test.skip=true && -DskipTests
• 修改代码scalastyle校验失败导致编译失败，进行下面设置：<failOnViolation>false</failOnViolation>