美文网首页
搞定Spark 源码单元测试

搞定Spark 源码单元测试

作者: 分裂四人组 | 来源:发表于2017-08-20 08:17 被阅读260次

    在Spark源码上添加了些代码,想做个单元测试,倒弄了半天,发现怎么着都会跑所有的单测,好浪费时间。

    找了半天,解决方法:

    mvn test -DwildcardSuites=org.apache.spark.io.CompressionCodecSuite -Dtest=nothing -DfailIfNoTests=false

    当然,你可以把pom.xml中你不需要的Module先临时去掉,这样可以节约一部分编译依赖时间。


    回头看上述方法还是有问题,参考:https://spark.apache.org/developer-tools.html,单个测试说的很明白,如下:

    build/sbt
    project core
    testOnly org.apache.spark.scheduler.DAGSchedulerSuite
    

    TODO: 同时在sql package下有着许多压测,可以尝试着测试下。

    参考:

    1. https://stackoverflow.com/questions/32510133/how-to-run-only-a-single-scalatest-via-wildcardsuites-in-spark-when-including
    2. https://issues.apache.org/jira/browse/SPARK-4159
    3. https://spark.apache.org/docs/latest/building-spark.html#pyspark-tests-with-maven

    相关文章

      网友评论

          本文标题:搞定Spark 源码单元测试

          本文链接:https://www.haomeiwen.com/subject/utaxdxtx.html