编译调试 Spark的血泪史

作者: Codlife | 来源:发表于2016-08-26 17:01 被阅读0次

    前言。

    首先声明本方法绝对真实有效,本人尝试了网上各种博客,但是说实话,还真跑不起,也不知道大神们怎么解决的。经过实验室师兄指点,终于找到了如下方法。

    一。导入代码,编译啥的就不说了,一艘一大堆,linux 环境基本都能成功,然而真正要调试源代码,却总有如下错误

    2016-08-26 16-54-35屏幕截图.png

    二。 解决办法,找到spark-parent.pom ,注释掉各种provided 选项如下:

    2016-08-26 16-59-10屏幕截图.png

    三。 完美结果。如下

    2016-08-26 16-59-44屏幕截图.png

    四。感谢崔师兄,感谢实验室。接下来,你可以尽情玩弄 spark 源代码了。

    具体原理如下:

    • compile (编译范围)** compile是默认的范围;如果没有提供一个范围,那该依赖的范围就是编译范围。编译范围依赖在所有的classpath 中可用,
      同时它们也会被打包。
    • provided (已提供范围)** provided 依赖只有在当JDK 或者一个容器已提供该依赖之后才使用。例如, 如果你开发了一个web 应用,你可能在编译
      classpath 中需要可用的Servlet API 来编译一个servlet,但是你不会想要在打包好的WAR 中包含这个Servlet API;这个
      Servlet API JAR 由你的应用服务器或者servlet 容器提供。已提供范围的依赖在编译classpath (不是运行时)可用。它们
      不是传递性的,也不会被打包。
    • runtime (运行时范围)** runtime 依赖在运行和测试系统的时候需要,但在编译的时候不需要。比如,你可能在编译的时候只需要JDBC API JAR,而只
      有在运行的时候才需要JDBC 驱动实现。
    • test (测试范围) test范围依赖 在一般的编译和运行时都不需要,它们只有在测试编译和测试运行阶段可用。system (系统范围)
    • system范围依赖与provided 类似,但是你必须显式的提供一个对于本地系统中JAR 文件的路径。这么做是为了允许基于本地
      对象编译,而这些对象是系统类库的一部分。这样的构件应该是一直可用的,Maven 也不会在仓库中去寻找它。如果你将一个
      依赖范围设置成系统范围,你必须同时提供一个 systemPath 元素。注意该范围是不推荐使用的(你应该一直尽量去从公共或
      定制的 Maven 仓库中引用依赖)。

    相关文章

      网友评论

        本文标题:编译调试 Spark的血泪史

        本文链接:https://www.haomeiwen.com/subject/gsjzsttx.html