美文网首页程序员在成长
接触spark可能会遇到的问题

接触spark可能会遇到的问题

作者: 冬天只爱早晨 | 来源:发表于2017-04-24 15:22 被阅读44次

    说明: 以下是我自己遇到的问题,可能会对你有所帮助,也可能对你一点帮助也没有

    No configuration setting found for key 'akka.version'

    spark的jar包不能通过java -jar xxx.jar来执行,需通过spark-submit来执行

    Caused by: java.lang.ClassNotFoundException:com.fasterxml.jackson.databind.type.ReferenceType

    maven添加相关依赖

    <dependency>
        <groupId>com.madgag</groupId>
        <artifactId>bfg</artifactId>
        <version>1.12.5</version>
    </dependency>
    

    scala.runtime.BooleanRef.create(Z)Lscala/runtime/BooleanRef

    scala版本号的问题,我的是因为项目有个dl4j的依赖里使用了scala的2.11版本,而我本地和测试环境上使用的是2.10版本,所以报错,将版本号统一即可

    相关文章

      网友评论

        本文标题:接触spark可能会遇到的问题

        本文链接:https://www.haomeiwen.com/subject/mldpzttx.html